С ростом количества тестов возникает проблема анализа их результатов. Речь идёт не о UNIT-тестах, а о более высокоуровневых. Скажите честно, кто из вас не думал сделать свой отчёт? С подробными логами, скриншотами, дампами запросов и ответов и прочей информацией (которая, к слову, существенно облегчает поиск причин конкретной ошибки). Я расскажу о том, какой отчёт мы используем в Яндексе. А после доклада все желающие смогут попробовать его у себя.

1. Как найти общий
язык с результатами
тестов
Артем Ерошенко
старший инженер по автоматизации

2. Как найти общий язык
с результатами тестов?

3. Отчеты автотестов

4. Хорошие отчеты
скорость и точность

5. Чем дальше от кода
тем меньше точность

6. Юнит тесты

7. Тесты через API

8. Web-тесты

9. Хорошие отчеты
содержат данные

10. Хорошие отчеты
понятны всем

11. Хорошие отчеты
легко читать всем

12. Allure Framework

13. Allure Framework
Мультиязычность

14. Allure Framework
Модульность

15. Allure Framework
Гибкость

16. Allure Framework
расширение xUnit

17. Стандартный xUnit

18. Стандартный xUnit
TestSuite
Class

19. Стандартный xUnit
TestCase
Method
TestSuite
Class

20. Расширение xUnit
Аттачменты (Аттачи)

21. Аттачменты
HTML
JSON
TXT
IMAGE
XML
OTHER

22. Расширение xUnit
Шаги (Степы)

23. Шаги
Вложенность

24. Шаги
Вложенность
Статус завершения

25. Шаги
Вложенность
Статус завершения
Содержат аттачменты

26. Allure Framework
=
Стандартный xUnit
+
Шаги
Аттачменты

27. Модульность Allure

28. Модульность Allure
Allure Model
Allure Report
Allure Adaptor

29. Allure Model
Test
Suite
.xml
расширение xUnit

30. xUnit Model
<testsuite time=“188”!
name=“company.TestMe”!
tests=“1” skipped=“0”!
errors=“0” failures=“0”>!
<testcase!
time=“180" name=“testMe”!
classname=“company.TestMe”
/>!
</test-suite>

31. Allure Model
t info
tes
start/stop
verity
se
Test
Suite
.xml
tatus
s
расширение xUnit

32. Allure Model
<testsuite start="3" stop="25">!
<title>Test Suite</title>!
<testcase start="5" !
stop=“23”!
status=“passed"!
severity="normal">!
<title>Test Case</title>!
</testcase>!
</testsuite>

33. Allure Model
t info
tes
start/stop
verity
se
steps
Test
Suite
.xml
tatus
s
attachments
расширение xUnit

34. Allure Model
<testcase … >!
<title>Test Case</title>!
<step start="3" start="17" !
title=“Open Main Page"/>!
<attachments title="image"!
source=“path/to/image.png“!
type="png"/>!
</testcase>

35. Allure Model
<testcase … >!
<title>Test Case</title>!
<step start="3" start="17" !
title=“Open Main Page">!
<attachments title="image"!
source=“image.png“!
type="png"/>!
</step>!
</testcase>

36. Allure Model
<testcase … >!
<title>Test Case</title>!
<step start="3" start="17" !
title=“Open Main Page">!
<step start="4"!
stop=“6“!
type=“Input text"/>!
</step>!
</testcase>

37. Allure Adaptor
jUnit
pyUnit
Karma
Test
Suite
.xml

38. Allure Adaptor
jUnit
pyUnit
Karma
jUnit
Adaptor
Test
Suite
.xml

39. Allure Adaptor
jUnit
pyUnit
Karma
jUnit
Adaptor
pyUnit
Adaptor
Test
Suite
.xml

40. Allure Adaptor
jUnit
jUnit
Adaptor
pyUnit
pyUnit
Adaptor
Karma
Karma
Adaptor
Test
Suite
.xml

41. Allure Report
Test
Suite
.xml
Test
Suite
.xml
Test
Suite
.xml

42. Allure Report
Test
Suite
.xml
Test
Suite
.xml
Test
Suite
.xml
Test
Suite
.json
Report
Data
Generator
Test
Suite
.json
Test
Suite
.json
Run
Status
.json

43. Allure Report
Report Face
Test
Suite
.json
Test
Suite
.json
Test
Suite
.json
Run
Status
.json
+
Angular JS

44. Модульность Allure
Report
jUnit
Data
GEN
jUnit
Adaptor
Test
Suite
.xml

45. Гибкость Allure
рецепт приготовления

46. Чистый xUnit
public void SearchTest {!
@Test!
public void searchResultsTest() {!
…!
}!
}

47. Добавляем шаги
@Step!
public void openMainPage () {!
driver.get(“http://yandex.ru”);!
}!
!
@Step!
public void searchBy (String key) {!
driver.findElement(id(“text”))!
.type(key);!
driver.findElement(id(“srch”)).click();!
}

48. Добавляем аттачи
@Attach(type=AttachmentType.PNG)!
public File makeScreenshot () {!
driver.getScreenshotAs(OutputType.File)!
}!
@Step!
public void checkResultHas(String text) {!
//получаем текст результатов!
//с помощью драйвера, проверяем текст!
! makeScreenShot(); !
}

49. Пишем тест
public void SearchTest {!
@Test!
public void searchResultsTest() {!
openMainPage();!
searchBy(“Yandex”);!
checkResultsHas(“Yandex”);!
}!
}

50. Получаем отчет
http://bit.ly/allure-reports

51. Попробуйте
сами

52. Вопросы?
http://bit.ly/allure-reports
http://bit.ly/allure-framework