Развитие процессов тестирования в Badoo за три года или как мы думали, что всё хорошо, а оказалось, что можно лучше

1. Развитие процессов тестирования в
Badoo за три года,
или как мы думали, что всё хорошо, а оказалось, что
можно лучше.
Кудинов Илья, Badoo Development

2. Немного цифр — как обычно
● 2 серверных релиза в день
● Еженедельные релизы приложений
● ~80 => ~150 разработчиков
● ~20 => ~50 QA-инженеров
● 180 => 300+ миллионов пользователей
● 0.6 => 1+ миллиона пользователей онлайн

3. Разные QA-флоу
● Web / mobile app server
● С daemons
● Mobile flows
– iOS
– Android
– Windows
– Mobile Web

4. 5 (или около того) этапов контроля качества
1. Code Review
2. Тестирование на девеле
3. Тестирование в шоте
4. Тестирование на стейджинге
5. Верификация на продакшне

5. Code Review

6. Code Review
● «Автоматизированное» ревью — гит-хуки

7. Code Review
● «Автоматизированное» ревью — гит-хуки
– Проверка имени ветки

8. Code Review
● «Автоматизированное» ревью — гит-хуки
– Проверка имени ветки
– Проверка прав на коммит

9. Code Review
● «Автоматизированное» ревью — гит-хуки
– Проверка имени ветки
– Проверка прав на коммит
– Проверяем соответствие код-формату (phpcf!)
https://habrahabr.ru/company/badoo/blog/232133/

10. Code Review
● «Автоматизированное» ревью — гит-хуки
– Проверка имени ветки
– Проверка прав на коммит
– Проверяем соответствие код-формату (phpcf!)
– Обновление статусов и комментарии в Jira

11. Code Review
● «Автоматизированное» ревью — гит-хуки
– Проверка имени ветки
– Проверка прав на коммит
– Проверяем соответствие код-формату (phpcf!)
– Обновление статусов и комментарии в Jira
– Корректность тестов

12. Code Review
● «Автоматизированное» ревью — гит-хуки
– Проверка имени ветки
– Проверка прав на коммит
– Проверяем соответствие код-формату (phpcf!)
– Обновление статусов и комментарии в Jira
– Корректность тестов
– И мнооооогое-многое другое

13. Code Review
● «Ручное» ревью
https://habrahabr.ru/company/badoo/blog/200946/

14. Code Review
● «Ручное» ревью
– Корректность логики

15. Code Review
● «Ручное» ревью
– Корректность логики
– Оптимальность решения

16. Code Review
● «Ручное» ревью
– Корректность логики
– Оптимальность решения
– Соответствие архитектуре

17. Code Review
● «Ручное» ревью
– Корректность логики
– Оптимальность решения
– Соответствие архитектуре
– Покрытие юнит-тестами

18. Code Review
● «Ручное» ревью
– Корректность логики
– Оптимальность решения
– Соответствие архитектуре
– Покрытие юнит-тестами
– Проверка со стороны других отделов

19. Автоматическое тестирование ветки
История войны за
автоматический прогон юнит-тестов

20. Автоматическое тестирование ветки
2012
● 15'000 тестов
● Однопоточный / топорный многопоточный запуск
● >40 минут на прохождение тестов
● Запускаем только руками :(

21. Автоматическое тестирование ветки
2013
● 25'000 тестов
● Многопоточная пускалка
● 5 минут на прохождение тестов
● Запускаем по резолву задачи!
https://habrahabr.ru/company/badoo/blog/181488/

22. Автоматическое тестирование ветки
2014
● 40'000 тестов
● Облачная пускалка
● 2-3 минуты на прохождение тестов

23. Автоматическое тестирование ветки
2015
● 55'000 тестов (каверидж ~50%)
● Стараемся запускать тесты по кавериджу
● 1-2 минуты на прохождение тестов для ветки
● 5-7 минут на прохождение всех тестов
https://habrahabr.ru/company/badoo/blog/264497/

24. Автоматическое тестирование ветки
2016
● 60'000+ тестов (and counting!)
● SoftMocks!
● PHP7!
● 2-3 минуты на все тесты!
https://habrahabr.ru/company/badoo/blog/279617/

25. Автоматическое тестирование ветки

26. Тестирование на девеле

27. Совсем ручное тестирование

28. Совсем ручное тестирование
● Регистрируем пользователя для каждого теста

29. Совсем ручное тестирование
● Регистрируем пользователя для каждого теста
● Заливаем и модерируем фотографии

30. Совсем ручное тестирование
● Регистрируем пользователя для каждого теста
● Заливаем и модерируем фотографии
● Подготавливаем тестовые данные

31. Совсем ручное тестирование
● Регистрируем пользователя для каждого теста
● Заливаем и модерируем фотографии
● Подготавливаем тестовые данные
● Сложновоспроизводимые кейсы

32. Совсем ручное тестирование
● Регистрируем пользователя для каждого теста
● Заливаем и модерируем фотографии
● Подготавливаем тестовые данные
● Сложновоспроизводимые кейсы
● Не забываем удалять

33. QAAPI

34. QAAPI
● Быстрая регистрация пользователя

35. QAAPI
● Быстрая регистрация пользователя
● Заполнение любых данных

36. QAAPI
● Быстрая регистрация пользователя
● Заполнение любых данных
● Изменение нередактируемых параметров

37. QAAPI
● Быстрая регистрация пользователя
● Заполнение любых данных
● Изменение нередактируемых параметров
● Ускорение автотестов

38. QAAPI
● Быстрая регистрация пользователя
● Заполнение любых данных
● Изменение нередактируемых параметров
● Ускорение автотестов
● QAAPI сценарии

39. QAAPI
● Быстрая регистрация пользователя
● Заполнение любых данных
● Изменение нередактируемых параметров
● Ускорение автотестов
● QAAPI сценарии
● Недоступно для внешних пользователей

40. Улучшенное окружение

41. Облачный скриптовый фреймворк
* * 1 * * script1.php
* 5 * * * script2.php

42. User Split
https://habrahabr.ru/company/badoo/blog/278089/

43. Облачный скриптовый фреймворк
* * 1 * * script1.php
* 5 * * * script2.php

44. Более стабильные тесты для девела

45. Тестирование в шоте
● Микростейджинг 'master + task'
● Продакшн-окружение
● Генерация переводов

46. Тестирование в шоте
● Микростейджинг 'master + task'
● Продакшн-окружение
● Генерация переводов
● NEW! Сбор скриншотов лексем для переводчиков

47. Тестирование в шоте
● Микростейджинг 'master + task'
● Продакшн-окружение
● Генерация переводов
● NEW! Сбор скриншотов лексем для переводчиков
● NEW! Автоматический запуск селениум-тестов

48. Селениум-теста нет?

49. Селениум-теста нет?
● Тесты пишутся после релиза задачи
● Селениум-тестами покрывается только устоявшийся и
критический функционал

50. Селениум-тест упал!

51. Селениум-тест упал!

52. Селениум-тест упал!

53. Сборка релиза
AIDA: Automated Interactive Deploy Assistant
https://habrahabr.ru/company/badoo/blog/169417/

54. Сборка релиза
● Определение задач, готовых к релизу

55. Сборка релиза
● Определение задач, готовых к релизу
● Автомерж

56. Сборка релиза
● Определение задач, готовых к релизу
● Автомерж
● Деплой релиза на стейджинговые сервера

57. Сборка релиза
● Определение задач, готовых к релизу
● Автомерж
● Деплой релиза на стейджинговые сервера
● Запуск автоматического тестирования

58. Автоматическое тестирование релиза

59. Автоматическое тестирование релиза
● Смоук-тесты при каждом обновлении релизной ветки

60. Автоматическое тестирование релиза
● Смоук-тесты при каждом обновлении релизной ветки
● Постоянно гоняющиеся юнит- и селениум-тесты

61. Автоматическое тестирование релиза
● Смоук-тесты при каждом обновлении релизной ветки
● Постоянно гоняющиеся юнит- и селениум-тесты
● Сигнализация о каждой ошибке

62. Автоматическое тестирование релиза
● Смоук-тесты при каждом обновлении релизной ветки
● Постоянно гоняющиеся юнит- и селениум-тесты
● Сигнализация о каждой ошибке
● Возможность быстрой пересборки билда при ошибке

63. Ручное тестирование релиза

64. Что-то сломалось!
(на стейджинге, не на продкшне, конечно же!)

65. Локализуем проблему

66. Локализуем проблему
● Смотрим логи тестов

67. Локализуем проблему
● Смотрим логи тестов
● Запускаем там, где не
запускались

68. Локализуем проблему
● Смотрим логи тестов
● Запускаем там, где не
запускались
● Находим тикет, в
котором всё сломалось

69. Локализуем проблему
● Смотрим логи тестов
● Запускаем там, где не
запускались
● Находим тикет, в
котором всё сломалось
● Помогает не всегда —
приходится искать
самим :(

70. Устраняем проблему
● Если всё совсем плохо — откатываем тикет

71. Устраняем проблему
● Фиксим коммитом в ветку билда (?)

72. Устраняем проблему
● Делаем патч в билд!

73. Всё готово к релизу?

74. Всё готово к релизу?

75. Р Е Л И З !

76. Нет, на самом деле мы работаем дальше

77. Верификация на продакшне

78. Мониторинг!

79. Мониторинг
● RRDTool
– Основные метрики
– Нагрузка
– Логи ошибок и дебаг-сообщений

80. Мониторинг
● Splunk
– Динамика событий в реальном времени
– Графики ошибок и дебага
– Создание тикетов на ошибки прямо из интерфейса

81. Всегда есть куда стремиться!

82. Вопросы?
Кудинов Илья
vk.com/relzeg
fb.com/relzeg
Badoo Development
vk.com/badoocom
fb.com/BadooMoscow
habrahabr.ru/company/badoo

83. Статьи на Хабре
● GitPHP: https://habrahabr.ru/company/badoo/blog/200946/
● PHPCF: https://habrahabr.ru/company/badoo/blog/232133/
● Многопоточная пускалка: https://habrahabr.ru/company/badoo/blog/181488/
● Сборка кавериджа, QAAPI: https://habrahabr.ru/company/badoo/blog/264497/
● SoftMocks: https://habrahabr.ru/company/badoo/blog/279617/
● User Split: https://habrahabr.ru/company/badoo/blog/278089/
● AIDA: https://habrahabr.ru/company/badoo/blog/169417/