Поговорим, как и зачем функционально тестировать хайлоад, получать от тестов больше, чем «прошёл/не прошёл», а их количество превратить в качество продукта.

1. Я спросил у сервера...
Илья Пастушков

2. Сегодня я расскажу
• Что можно извлечь из тестов
• Почему результаты одиночного теста не показательны
• Как не потеряться среди огромного количества тестов
• Какими инструментами вообще всё это можно сделать
• И что из этого должно получиться
2

3. Кто я?
• Специалист по тестированию в компании 2ГИС
• Больше двух лет работаю в команде Unix.
3

4. Чем занимается
команда Unix

5. Наши сервисы
5

6. Тестирование
• Unit­тесты
• Регрессия
• Нагрузочные
• Функциональные
• Автотесты
6

7. Тестирование самолётов
Процесс:
• Строят опытный образец
• Ставят под нагрузку
• Через 5­10 лет запускают модель в эксплуатацию
• А самолёт стоит на стенде
Даже если на тестах сломается, у авиакомпании будет 5­10 лет в
запасе
7

8. Тестирование
Проблемы:
• "Проблема 34%"
• Запрос пришёл и застрял
Функциональные тесты важны даже для highload
8

9. Функциональные тесты
Friend or foe? Да или нет?

10. А если подумать?

11. Время
• время отклика сервера
• время получения ответа клиентом
• время отклика компонент
11

12. Время. Откуда?
• логи
• мониторинг
• сами
12

13. Утилизация ресурсов
• CPU usage
• Memory usage
• i/o per second
• network latency
13

14. Итог
Всё это может происходить потому что:
• кто­то кошмарит соседей по виртуалке
шакалы сжимают, тестеры нагружают, админы бэкапят
• перебои с сетью
не было ни единого разрыва, а тут! или все обновляют visual
studio
14

15. Можно держать это в голове

16. Можно мониторить

17. А можно уточнить

18. НУЖНО БОЛЬШЕ ТЕСТОВ!

19. Организация тестов
• Вносим в тесты некоторую энтропию
Проверяем одно, но разными кейсами
• Мыслим не конкретными запросами, а категориями
Негативные кейсы могут быть заткнуты исключениями
19

20. Причины рандомизации
Если сервис stateless:
• поисковый сервис N раз найдёт x по запросу y
• сервис поиска проезда выдаст N раз
маршрут x по координатам y и z
Stateless, statefull, не забываем про кэширование
20

21. Причины рандомизации
Если сервис stateful:
• фиксируем состояние
• GOTO предыдущий слайд
21

22. Методы
• библиотека random (fuzzing)
22

23. Методы
• библиотека random (fuzzing)
• pairwise (комбинации пар)
23

24. Методы
• библиотека random
(fuzzing)
• pairwise (комбинации пар)
• ортогональные массивы
24

25. Средства визуализации
• Цифры
• Графики
• Отчёты
25

26. Цифры
sort -n input.txt > sorted.txt
awk '{all[NR] = $0} END
{print all[int(NR*0.95 - 0.5)]}' sorted.txt
???
PROFIT!!!
На выходе получим величину, которая больше чем в 95%
запросов, т.е. 95ую процентиль
01.
02.
03.
04.
26

27. Графики
27

28. Отчёты

30. Я сломаль, я сломаль!

31. Я сломаль, я сломаль!
Если есть тесты, которые не сработали, то
внимательно смотрим на них:
• запрос
• время, ресурсы
• предыдущие запросы
• пример когда предыдущий ломает последующий
31

32. All tests passed!

33. All tests passed!
Если все тесты прошли ­­ смотрим ещё внимательнее:
• пики точёны по времени/ресурсам ­ смотрим очень внимательно
33

34. All tests passed!
Если все тесты прошли ­­ смотрим ещё внимательнее:
• 95ая, 98 процентиль по характеристике ­ лучший показатель
НИ В КОЕМ СЛУЧАЕ НЕ БРАТЬ СРЕДНЕЕ!
Пример когда среднее не показатель:
• половина запросов обрывается при соединении, те, что
проходят ­ превышают SLA
Итог ­ по среднему мы очень даже укладываемся
34

35. Highload edition
• Нагрузку выстраиваем линейно
• Автоматизация во все поля
Зеркалируем траффик с учётом масштабирования:
• em proxy
• gor
35

36. Арифметика масштабирования
• Cобираем соотношения траффика­утилизации­rps
на возможных конфигурациях,
• Выстраиваем зависимость,
• На её основе вычисляем соотношение
• Можно грабить корованы функционально проверять
36

37. Пример
37

38. Сегодня я рассказал
• Что можно извлечь из тестов
• Почему результаты одиночного теста не показательны
• Как не потеряться среди огромного количества тестов
• Какими инструментами вообще всё это можно сделать
• И что из этого должно получиться
38

39. Вопросы?