- Вы думаете, ваша система автоматизации тестирования работает на полную катушку? - Сделано всё и задачи автоматизации исчерпаны? - Вы чувствуете - что-то не сделано и ищите? Тогда этот доклад для вас и для всех кто интересуется автоматизацией тестирования и её гранями. Долго ли коротко ли системы автоматизированного тестирования приходят к зрелому состоянию, когда она работает годно и результаты релевантные. Подходя к такому состоянию, мы можем обмануться, что всё сделано и «дальше жизни нет», только унылая актуализация авто-тестов. Лучик света, о том, что доводится делать полезного в рамках и вокруг автоматизации тестирования.

1. Киев 2016
Первый в Украине фестиваль тестирования
Векторы развития систем
автоматизации тестирования
Дмитрий Химион

2. Киев 2016Векторы развитиясистем автоматизациитестирования
Дмитрий Химион
руководитель направления
автоматизации тестирования
Performance Lab
Докладчик на конференциях:
•SQA Days 13
•ITSM Forum
•SQA Days 14
•SQA Days 15
•SQA Days 16
•CodeFest 2015
•SQA Days 17
•Quality days
•SQA Days 18
•CodeFest 2016
•SQA Days 19
62 проекта по автоматизации тестирования
+9 проекта - прототипы инструментария АТ

3. Киев 2016Векторы развитиясистем автоматизациитестирования
План доклада
• Представление проблемы
• Что значит - «границы» автоматизации тестирования?
• Самые частые и полезные доработки
• Примеры реализованных улучшений
• Трудности и барьеры
• Итоги
• Вопросы

4. Киев 2016Векторы развитиясистем автоматизациитестирования
Введение
Я разработал системуавто-тестовна
Selenium иинтегрировалеёс CI, тесты
стабильныеи выполняются в 4 потока
и естькрасивые логи
хорошо…теперь…
разрабатывай тесты…
до 100%покрытия.

5. Киев 2016Векторы развитиясистем автоматизациитестирования
Представление проблемы
А как же новыеинструменты…
…
Мнеже обещали
интересныезадачи…
там же 1600тест-кейсов…
безумнаяактуализация…
это же 2 года работы…

6. Киев 2016Векторы развитиясистем автоматизациитестирования
Представление проблемы
Разработка,
Актуализация,
Разработка,
Актуализация…
Разработка…
Актуализация…
…
Актуализация…
...
Разработка…
…
Актуализация…
Разработка…
Актуализация,
Разработка,
Актуализация,
Разработка,

7. Киев 2016Векторы развитиясистем автоматизациитестирования
Представление проблемы
Разработка,
Актуализация,
Разработка,
Актуализация…
Разработка…
Актуализация…
…
Актуализация…
...
Разработка…
…
Актуализация…
Разработка…
Актуализация,
Разработка,
Актуализация,
Разработка,

8. Киев 2016Векторы развитиясистем автоматизациитестирования
Представление проблемы
Куда идти?...
Что делать?...
Я же хочуразвития…
…
Нужнонаправление…
…
Нуженвектор!
Разработка,
Актуализация,
Разработка,
Актуализация…
Разработка…
Актуализация…
…
Актуализация…
...
Разработка…
…
Актуализация…
Разработка…
Актуализация,
Разработка,
Актуализация,
Разработка,

9. Киев 2016Векторы развитиясистем автоматизациитестирования
«Несчастье» любой системы автоматизации
тестирования
TimeOuts Page Objects
Configuration file
Test data
Логи

10. Киев 2016Векторы развитиясистем автоматизациитестирования
Система автоматизации
тестирования
TimeOuts
Заглушки Page Objects
Configuration file
Test data
Логи
Что значит «границы» системы авто-тестов

11. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
Page Object

12. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
Page Object

13. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
Page Object

14. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
Page Object
TimeOuts
• Element not found
• Failed to get data

15. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
Page Object
TimeOuts
• Element not found
• Failed to get data

16. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
TimeOuts
Test data
client = man82major
f_name = Ivan_test
l_name = Ivanov_test
sum = 100000
Page Object

17. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
TimeOuts
Test data
client = man82major
f_name = Ivan_test
l_name = Ivanov_test
sum = 100000
Page Object

18. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
Dark magic
Test data
Config file
Logger
PageObjects
Tests

19. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
Test data
Tests
Config file
Logger
PageObjectsA != B
Dark magic

20. Киев 2016Векторы развитиясистем автоматизациитестирования
Как выглядят «границы» системы авто-тестов
Test data
Tests
Config file
Logger
PageObjectsA != B
Dark magic

21. Киев 2016Векторы развитиясистем автоматизациитестирования
Информативность сообщений об ошибках

22. Киев 2016Векторы развитиясистем автоматизациитестирования
Информативность сообщений об ошибках
• True != False
• Timeout exception
• Incorrect data
• Check failed

23. Киев 2016Векторы развитиясистем автоматизациитестирования
Управление запуском авто-тестов
Тестоваясреда
Группа авто-тестов
Описание сценария Запуск
Редакторконфига
Редакторсценария

24. Киев 2016Векторы развитиясистем автоматизациитестирования
Управление запуском авто-тестов

25. Киев 2016Векторы развитиясистем автоматизациитестирования
Пригодность результатов тестирования
.txt

26. Киев 2016Векторы развитиясистем автоматизациитестирования
Пригодность результатов тестирования

27. Киев 2016Векторы развитиясистем автоматизациитестирования
Дифференцирование ошибок

28. Киев 2016Векторы развитиясистем автоматизациитестирования
Зомби-процессы
TASKKILL /IMnotepad.exe
TASKKILL /PID 1230 /PID 1241 /PID 1253 /T
TASKKILL /F /IMcmd.exe /T
TASKKILL /F /FI "PID ge 1000" /FI "WINDOWTITLE ne untitle*"
TASKKILL /F /FI "USERNAMEeqNT AUTHORITYSYSTEM" /IMnotepad.exe
TASKKILL /S <система> /U <домен><пользователь> /FI "USERNAME ne NT*" /IM*
TASKKILL /S <система> /U <пользователь> /P<пароль> /FI "IMAGENAME eqnote*"
Test automation
Framework
.process

29. Киев 2016Векторы развитиясистем автоматизациитестирования
Интеллектуальные тестовые данные
client = man82major
f_name = Ivan_test
l_name = Ivanov_test
sum = 100000
Test data

30. Киев 2016Векторы развитиясистем автоматизациитестирования
Интеллектуальные тестовые данные
client = man82major
f_name = Ivan_test
l_name = Ivanov_test
sum = 100000
Test data

31. Киев 2016Векторы развитиясистем автоматизациитестирования
• Логирование времени выполнения операций
• Утилизация аппаратных средств
• Уровни абстракции тестовых данных
• Создание Portable системы АТ
Что еще доработать?!
Test data

32. Киев 2016Векторы развитиясистем автоматизациитестирования
Трудностии барьеры
Основные:
• Люди
• Процессы
• Размер проекта
Технические:
• Инструментов
• языков программирования
• квалификации сотрудника

33. Киев 2016Векторы развитиясистем автоматизациитестирования
Авто-тестыстанут весомым индикатором в процессе разработки
1. Углубление тестирования продукта
2. Мотивация членов команды АТ
3. Профессиональный рост
Итоги

34. Киев 2016Векторы развитиясистем автоматизациитестирования
Picasso-key
dmitry.khimion@gmail.com
Вопросы?
dmitry.khimion

35. Киев 2016Векторы развитиясистем автоматизациитестирования
Picasso-key
dmitry.khimion@gmail.com
Спасибо за внимание!
dmitry.khimion