В презентации описан процесс построения A/B-тестов от генерации идей до реализации тестирования.

1. A/B-тесты
или раздолье для ошибок

2. 2 минуты
на знакомство

3. О себе
Николай Захаров
Веб аналитик

4. О выступлении
О чём пойдёт речь?
Какая цель выступления?
Какая польза для слушателей?
* Любые абсолютные данные могли быть изменены. При этом тренды актуальны.

5. A/B тесты – супер актуальны
Позволяет принимать объективные решения
Обязательный этап управления
Уникальная возможность интерактивной среды

6. Ошибки – меняют все
Некорректный
эксперимент
Несуществующая
закономерность
Неправильное
решение

7. Построение
процесса

8. Подготовка
Поиск актуальных
проблем
Реализация
Документация
и релиз
Анализ
Снятие и разбор
метрик

9. Подготовка

10. Подготовка
Критерии
успеха
Поиск
проблем
Генерация
гипотез
Определение
приоритетов

11. Критерии успеха
Какие цели стоят перед бизнесом?
Чего хотим добиться?

12. Критерии успеха
Пример: заказы vs выкупленные заказы
• +3% оформленные заказы;
• +6% загрузка КЦ;
• +1,5% доставленные заказы.

13. Поиск проблем
Система KPI, покрывающая максимум процессов,
участвующих в генерации заказов;
Поиск “узких мест” в процессах.

14. Поиск проблем
Оптимизация % добавления в корзину

15. Генерация гипотез
Предположить, почему текущий функционал
демонстрирует такие показатели?
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%
оферта конверсия
Вариант 1
Вариант 2

16. Генерация гипотез
Гипотеза – большее число ошибок
тестируемого варианта.

17. Определение приоритетов
Определение значимости гипотезы
(охват + конверсия + требования бизнеса);
Планирование тестов;

18. Планирование
Документация

19. Реализация

20. Подготовка
Критерии
успеха
Поиск
проблем
Генерация
гипотез
Определение
приоритетов
Реализация
Документация
• Сценарий
• Сегменты
• Метрики
• Методология
Релиз
• Распределение
трафика
• Отслеживание
метрик
• Тестирование

21. Документация

22. Сценарий
Документируем чтобы лучше понимать что будет
происходить и не запутаться в дальнейшем:
Предпосылки тестирования
Как будет проходить тест
Что позволит тестируемый функционал
Цели тестирования

23. Сегменты для анализа
Какие сегменты трафика анализируем / исключаем
География
Новые и Вернувшиеся
Расширения и Устройства

24. Метрики
Метрики – цифры которые помогают понять, что
происходит с этапом
1. Описание общих метрик этапов: конверсия
каждого шага ОЗ;
2. Описание метрик взаимодействия внутри этапов:
сколько полей заполняли, что не заполняли и т.п.
Важно помнить про бизнес цели и учитывать их.

25. Методология
1. Как считаем метрики? (пользователи/посетители;
события/уникальные события)
2. Как добиваемся чистоты данных? (отличия в
структуре трафика, накрутки)

26. Методология

27. Кейс 1. Про метрики
Выкатили новый процесс ОЗ. Результаты
выросли незначительно +5%.
Анализируя метрики этапов выявили точки
потенциального роста:
1. Рост числа заполненных контактов;
2. Большое число ошибок в оферте и адресе;

28. Кейс 1. Про метрики
Шаг 1 – успешно Шаг 2 – ошибка

29. Кейс 2. Ориентация на бизнес
1. Рост онлайн конверсии;
2. Но падение конверсии в выкупленный заказ.

30. Кейс 2. Ориентация на бизнес
19.09 - 25.09 26.09 - 02.10 03.10 - 09.10 10.10 - 16.10 17.10 - 23.10
10.00%
5.00%
0.00%
-5.00%
-10.00%
-15.00%
-20.00%
19.09 - 25.09 26.09 - 02.10 03.10 - 09.10 10.10 - 16.10 17.10 - 23.10
Нашли ряд багов:
• Ошибки при оформлении кредита;
• Ошибка выбора места самовывоза;

31. Релиз

32. Распределение трафика
1. При первом посещении присваиваем cookie.
2. Генерируется случайное число от 0 до 99.
3. Просматривается каждый из вариантов теста.
4. Если случайное число меньше заданного
соотношения трафика для варианта теста плюс
сумма трафика для предыдущих вариантов теста, то
считаем данный вариант теста выбранным.
5. Если нет, то продолжаем искать вариант теста
далее.

33. Есть cookie
Сохраненный
вариант
Нет cookie –
генерируем
Число 0-99
Вариант 1 Вариант 2 Вариант 3
20% трафика 30% трафика 50% трафика

35. Отслеживание метрик
События и метрики GA

36. Отслеживание метрик
BI данные из нескольких БД OLAP ( >500 показателей);

37. Тестирование релиза
Ручное тестирование;
Автоматическое тестирование;
Тестирование разметки.

38. Скриншоты сегментов

40. Анализ
результатов

41. Подготовка
Критерии
успеха
Поиск
проблем
Генерация
гипотез
Определение
приоритетов
Реализация
Документация
• Сценарий
• Сегменты
• Метрики
• Методология
Релиз
• Распределение
трафика
• Отслеживание
метрик
• Тестирование
Анализ
Статистическая
значимость
Динамика
показателей
Несравнимые
величины

42. Статистическая значимость
VS однородность трафика
10.00%
5.00%
0.00%
-5.00%
-10.00%
-15.00%
-20.00%
19.09 - 25.09 26.09 - 02.10 03.10 - 09.10 10.10 - 16.10 17.10 - 23.10

43. Динамика показателей
и A/A/B - тестирование

44. Несравнимые величины
События vs Транзакции vs Просмотры
Будьте готовы что они не совпадут,
причины найдутся!

45. Кейс 3. Про ошибки
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%
Старый Новый
Спасибо Оформить успешно

46. Планируем реализовать
Дашборды в реальном времени;
Карта конверсий;
CMS для тестирований.

47. Спасибо за внимание!