В условиях быстрой разработки становится более важным и более сложным такой вопрос: если мы можем менять вектор развития продукта очень часто и умеем жить с изменяющимися требованиями, то как понять что мы рационально используем эту возможность, не прыгаем вперёд-назад, а остаемся сфокусированными в своём развитии продукта?
Тут, разумеется, есть куча инструментов и практик lean практики get out of the building, традиционная продуктовая аналитика и, конечно, всеми любимые A/B тесты.
Но многие бросившись использовать всё это внезапно понимают, что получившиеся процессы больше напоминают карго культы: A/B тестирование красных против зеленых кнопок на страницах где 100 человек в день с конверсией в 5% делают какой-то экшн. Или обвешивание счётчиками Google Analytics всех элементов интерфейса, который используют 3 человека в день. Или мы идем в гости к своим друзьям, чтобы узнать их мнение о новом дизайне, забывая о том что наши друзья совсем не репрезентативны.
С какими проблемами мы сталкивались, как мы разочаровались в этих практиках, успели их возненавидеть и как обратно поверили и полюбили эти и другие подходы развития и эволюции продук
46. 1. интегрируем инструмент для A/B тестирования
2. будем тестировать по 5 маленьких изменений в
день
3. если каждый A/B тест покажет пусть 5%
прироста конверсии
4. через полгода конверсия достигнет 146%
5. …
6. PROFIT!!!!
60. ДА ПОЧЕМУ ОПЯТЬ ВСЁ
ПОЧТИ ОДИНАКОВО?
Визиты
10 540
10 000
Отзывы у отелей показываются
Отзывы у отелей скрываются
Бронирования
200
220
Конверсия
1,9 %
2,2 %
61. НА САМОМ ДЕЛЕ У
ЗНАЧИТЕЛЬНОГО ЧИСЛА ОТЕЛЕЙ
И РАНЬШЕ НЕ БЫЛО ОТЗЫВОВ
!
МЫ НЕПРАВИЛЬНО ЗАСЕТАПИЛИ
ЭКСПЕРИМЕНТ И ПОЛУЧИЛИ
OMITTEDVARIABLE BIAS
105. ПОЛЕЗНЫЕ ССЫЛОЧКИ
The GA funnel survival guide – https://blog.kissmetrics.com/conversion-funnel-survival-guide/
The fallacy of funnels – http://insideintercom.io/the-fallacy-of-funnels/
The guide to optimizing funnels – http://blog.kissmetrics.com/guide-to-optimizing-funnels/
Most AB tests will fail –http://www.jitbit.com/news/185-most-of-your-abtests-will-fail/
On determining sample sizes –https://signalvnoise.com/posts/3004-ab-testing-tech-note-determining-sample-size
How not to do AB tests – http://www.evanmiller.org/how-not-to-run-an-ab-test.html
Speed vs Certainty in AB – http://20bits.com/article/speed-vs-certainty-in-ab-testing