Основа А/Б тестов, базовые термины статистики, сколько трафика заливать в каждую ветку, советы по проведению А/Б

1. A/B ТЕСТЫ
или как выстрелить себе в ногу
Тимур Козьменко
twitter:Timrael

2. ПЛАН
• Базовая статистика
• Основные вопросы про А/Б
• Советы по проведению тестов
• Разбор А/Б тестов каждой команды

5. Состояние борща на самом деле
Свеж Протух

6. Состояние борща на самом деле
Свеж Протух
Оценка
Пистонского
Думает что свеж Верно
Травится
протухшим
борщом.
Ошибка II рода
Думает что протух
Выбрасывает
свежий борщ.
Ошибка I рода
Верно

8. На самом деле скругление
call-to-action кнопок прибыль
Не увеличивает Увеличивает
Что показывает
А/Б тест
Не увеличивает Верно
Пропустили
победу.
Ошибка II рода
Увеличивает
Увидели победу
там, где ее нет.
Ошибка I рода
Верно

9. Ошибка I рода - это шанс подтвердить неверную гипотезу.
Принято брать значение в максимум 5%.

10. Ошибка I рода - это шанс подтвердить неверную гипотезу.
Принято брать значение в максимум 5%.
Статистическая значимость = 100% - (ошибка I рода)

11. Ошибка I рода - это шанс подтвердить неверную гипотезу.
Принято брать значение в максимум 5%.
Статистическая значимость = 100% - (ошибка I рода)
Чем больше разница в вариантах или чем дольше
сохраняется разница в вариантах, тем больше мы уверены,
что это не погрешность, и тем выше стат. значимость

13. Самая критическая и распространенная ошибка в
A/B-тестировании — останавливать тест, как только
становится заметно, что один из вариантов
побеждает с существенным отрывом.

14. Увеличит ли прибыль скругление
call-to-action кнопок
Не увеличивает Увеличивает
Что показывает
А/Б тест
Не увеличивает Верно
Пропустили
победу.
Ошибка II рода
Увеличивает
Уведели победу
там, где ее нет.
Ошибка I рода
Верно

15. Ошибка II рода - это шанс не заметить верную гипотезу.
Принято брать значение в 10% - 20%.

16. Ошибка II рода - это шанс не заметить верную гипотезу.
Принято брать значение в 10% - 20%.
Статистическая мощность = 100% - (ошибка II рода)

19. Какой же размер выборки считать достаточным?

20. Как определить минимальный размер выборки?

21. Как определить минимальный размер выборки?

22. Conversion = X / Y
На какую конверсию смотреть?

23. Conversion = Clicks / Searches
На какую конверсию смотреть?

24. Conversion = PBC / Clicks
На какую конверсию смотреть?

25. Conversion = Profit / Y
На какую конверсию смотреть?

26. Conversion = Profit / Users
На какую конверсию смотреть?

27. Conversion = PBC / Users
На какую конверсию смотреть?

28. Используйте сегментирование

29. Забудьте про А/Б если у вас нету трафика

30. Забудьте про А/Б если у вас нету трафика

31. Проводите тесты только на основе гипотез

32. Не проводите A/B/C... тестирования

34. Учитывайте все каналы дохода

35. Делайте срезы данных
Вариант Б достоверно победил на 30%

36. Делайте срезы данных
Вариант Б достоверно победил на 30%
+70% выигрыш

37. Делайте срезы данных
Вариант Б достоверно победил на 30%
+70% выигрыш -40% проигрыш

38. Не забывайте про повторные заходы

39. Пример 1: aviasales

40. Пример 1: aviasales

41. Пример 1: aviasales

42. Пример 1: aviasales

43. Пример 1: aviasales

44. Пример 2: hotellook

45. Пример 2: hotellook

46. Пример 2: hotellook

47. Пример 3: JetRadar

48. Пример 3: JetRadar

49. Пример 4: TravelPayouts

50. ВОПРОСЫ?