Доклад Игоря Хрола на конференции SQA Days-17, 29-30 мая 2015 г., Минск www.sqadays.com

1. Автоматизация тестирования:
доступна каждому или удел
избранных?
Игорь Хрол
QA Automation Team Lead
Wargaming.NET

2. О себе
• Игорь Хрол
• QA Automation Team Lead в
Wargaming.NET
• 9 лет в отрасли
• Инженер, архитектор,
менеджер, консультант, тренер
• Докладчик на SQA Days 12 и 15
• www.khroliz.com

3. О чём говорим сегодня?
• QA – инженерная специальность
продолжение к SQA Days 15
http://sqadays.com/ru/talk/19552
• Пример Wargaming’a в доказательство
реализуемости на практике

5. О чём говорим сегодня?
1. Проблемы в конце 2013
2. Организационные изменения
3. Технологические изменения
4. «Пирамидальные» подходы
5. Стало ли лучше?

6. Проблемы
в конце 2013

7. Проблемы в конце 2013
Отделённость автоматизации тестирования:
• Организационно (отдельная команда)
• Технологически (тесты на Java, а 80%
разработки – на Python)
Много различных подходов
Слабое межофисное взаимодействие

8. Проблемы в конце 2013
Типичные проблемы с автотестами:
• Долгие
• Нестабильные
• Низкое покрытие
• Мало используются

9. Организационные
изменения

11. Жила-была…
Команда автоматизации тестирования

12. …и получала она на вход задачи
…а отдавала в статусе Resolved
JIRA-1
Created
JIRA-2
Created
JIRA-3
Created
JIRA-1
Resolved
JIRA-2
Resolved
JIRA-3
Resolved

13. …и не понимали Проекты, когда они
получат автоматизацию

14. …и не понимала Команда, что от неё
хотели Проекты

15. …«ручные» QA-соратники вне команды
не умели автоматизировать, хотя и
очень хотели

16. …требовалось написать детальные тест-
кейсы, чтобы автоматизатор
заавтоматизировал, а времени не хватало

17. Проект 2Проект 1
…и разошлись автоматизаторы по
Проектам, дабы на местах
распространять знания и автотесты
Проект 5Проект 4Проект 3

18. Проект 2Проект 1
…но дабы не терять связей
объединились они в Орден,
несущий знания всем и сразу!
Проект 5Проект 4Проект 3

19. …и стал Орден
распределённым по офисам
Санкт-Петербург
Киев
Минск

20. Орден: результаты
• Community по автоматизации тестирования
внутри Wargaming
• Включает всех, кто пишет автотесты
• Обмен опытом большого числа людей из
разных офисов

21. Технологические изменения

22. Технологические изменения
Переход с Java на Python

23. Переход с Java на Python
• Тестирование ближе к разработке
• Изучение автотестов толкает к изучению
тестируемого приложения
• Обмен знаниями с другими

24. Технологические изменения
Разработка проектно-независимых библиотек

25. Webium
https://github.com/wgnet/webium
Реализация PageObject в Python
Почитать-посмотреть подробнее тут:
• http://www.slideshare.net/khroliz/webium-page-objects-in-python
• https://www.youtube.com/watch?v=XrL1BLgkKyA

26. Grail
https://github.com/wgnet/grail
Грааль Ордена
Подключение «ручных» тестировщиков к
написанию автотестов
Подробно здесь:
http://2015.codefest.ru/lecture/989

27. Как обычно выглядит процесс
написания автотестов…
«Ручной»
QA Тест Кейс Auto QA
Тест
Скрипт

28. Test Case vs Test Script
Step 1: login to application def login_to_application():
…
Step 2: verify user is logged in def verify_user_is_logged_in():
…
Step 3: do some important thing def do_some_important_thing():
…
Как-то оно похоже..
Надо писать два раза…
И исправлять в двух местах…

29. Как решить?
А давайте генерировать тест-кейс из кода!
«Ручной»
QA
Тест Скрипт Auto QA
Реализация
Шагов

30. Плюсы подхода
• Нет дублирования работы
• Повышается технический уровень QA
• Нет новых «языков» вроде BDD-style,
Keyword Driven и прочего…

32. Внедрение автотестов в
массы: обучение
• Python
– http://www.codecademy.com/en/tracks/python
– Grail
– Код приложения
• Автоматизация тестирования
– Внутренняя программа обучения

33. Внедрение автотестов в массы
• Интеграция с TestRail
– Автотесты выглядят, как ручные
– Одна кнопка для запуска

34. Выглядят, как «ручные»

35. Одна кнопка для запуска

36. «Пирамидальные»
подходы

37. Некоторые предпочитают
треугольник…
http://www.slideshare.net/orgeirIngvarsson/pptx9

38. Разделяй и властвуй
Задача
Подзадача Подзадача
Решение
подзадачи
Решение
подзадачи
Решение
подзадачи
Решение
подзадачи
Подзадача
Задача
Разделяем
РазделяемРазделяем
Соединяем Соединяем
Соединяем
Подзадача

39. Модульное тестирование

40. Изолированное
тестирование проектов
Проект 2
Проект 1
Проект 5
Проект 6
Проект 4
Проект 3

41. Изолированное
тестирование проектов
Проект 2
Проект 1
Проект 5
Проект 6
Проект 4
Проект 3

42. Изолированное
тестирование проектов
Проект 2
Проект 1
Проект 5
Проект 6
Проект 4
Проект 3

43. Изолированное
тестирование проектов
Проект 2
Проект 1
Проект 5
Проект 6
Проект 4
Проект 3

44. Изолированное
тестирование проектов
Проект 2
Проект 4
Проект 3

45. Изолированное
тестирование проектов
Проект 2
Проект 4
Проект 3
Тесты

46. Изолированное
тестирование проектов
Заглушка
Проект 4
Заглушка
Тесты

47. Изолированное
тестирование проектов
• Изоляция силами QA
• Чётко определяет вход, выход, зависимости
• Ускоряет тесты
• Локализует проблемы
Заглушка Проект 4
Заглушка
Тесты

48. Фокус на компонентах без UI
• Начинаем с бизнес-логики
• По максимуму проверяем через API
• End-to-end сценарии и пользовательский
интерфейс можно проверять и руками

49. Что же дальше?
• Знаем Python
• Знаем программные интерфейсы
Логичный следующий шаг –
читать код проектов

50. Белый ящик
• Незаменимо для проектов с недостатком
документации
• Выявляет спектр новых проблем
• Позволяет не писать лишние тесты
• При необходимости можно помогать в
разработке

51. Запуск тестов по комитам
• Работает, если тесты быстрые
– До 5-10 минут
• …и стабильные
• Максимальная отдача от автоматических
тестов

52. Что же в
итоге?

53. Текущие успехи
Автотесты пишет большее число людей
Рост количества вовлечённых c 6 до 40-50
человек

54. Текущие успехи
Стабильные и быстрые тесты
– В идеале до 5-10 мин
– Запуск по «комитам»
– Красные тесты исправляются в процессе
разработки функциональности
– Быстро находятся дефекты

55. Текущие успехи
Проекты в состоянии выпускать новые версии
• без ручного тестирования
• в течение дня

56. Текущие успехи
Погружение в технические детали позволило
находить ранее невидимые проблемы

58. Что дальше?..
• Более плотная интеграция с Unit Test’ами
• Стабильное интеграционное тестирование
• Автоматизация релизных проверок
• Эффективное тестирование
пользовательского интерфейса

59. Спасибо!
Q&A
Контакты:
Игорь Хрол
i_khrol@wargaming.net
khroliz@gmail.com
skype: igor.khrol
http://www.khroliz.com