Baixar para ler offline
Carregado porTiago Albineli Motta
Experimentation anti patterns
O documento aborda os anti-padrões de experimentação, enfatizando problemas como comparação temporal, longos ciclos de desenvolvimento, e métricas incorretas ou não acionáveis. Também menciona a segmentação infinita e temporal, além de observações não independentes como barreiras à eficácia de testes A/B. Por fim, sugere a necessidade de um critério mínimo para validar hipóteses e implementar corretamente os experimentos.
Experimentation anti patterns
- 1.
- 2.
- 3.
- 4.
- 5.
- 6. Comparação temporal daalavancagem
- 7. Comparação temporal daalavancagem 50%⬆ 60%⬆
- 8. Comparação temporal daalavancagem
- 9. Comparação temporal daalavancagem
- 10. Comparação temporal daalavancagem 60%⬆ 40%⬇
- 11. Longo ciclo dedesenvolvimento
- 12. Longo ciclo dedesenvolvimento $ A/B Sucesso! Ufa :(
- 13. Longo ciclo dedesenvolvimento https://ai.stanford.edu/~ronnyk/ExPThinkWeek2009Public.pdf 1/3
- 14. Longo ciclo dedesenvolvimento 75%
- 15. O experimento quevira funcionalidade
- 16. O experimento quevira funcionalidade Mínimo necessário para validar hipótese Experimento foi um sucesso Produção
- 17. O experimento quevira funcionalidade
- 18. O experimento quevira funcionalidade Mínimo necessário para validar hipótese Experimento foi um sucesso Produção Implementar corretamente
- 19.
- 20.
- 21.
- 22.
- 23. Métrica não acionável Churn Lifetime Value Ads Revenue -Muito tempo para comparar - Muitas influências externas - Dificilmente separável em A/B
- 24. Métrica não acionável Churn Lifetime Value Ads Revenue Médiade tempo Frequência Assertiveness
- 25.
- 26.
- 27.
- 28. Desconsiderar mudança populacional AcidentalHeavy Inicio do teste A/B Fim do teste A/B
- 29. Desconsiderar mudança populacional Resultadodo AB para heavys: Número de heavys:
- 30.
- 31. A segmentação infinita Amostrade usuários do experimento
- 32.
- 33. A segmentação infinita Nasquarta-feiras
- 34. A segmentação infinita Emuma faixa de horário
- 35.
- 36.
- 37.
- 38.
- 39.
- 40. Experimentation Anti-Patterns - Comparaçãotemporal - Comparação temporal da alavancagem - Longo ciclo de desenvolvimento - O experimento que vira funcionalidade - Métrica incorreta - Métrica não acionável - Alvo populacional errado - Segmentação infinita - Segmentação temporal - Observações não independentes
- 41.
- 42.
Notas do Editor
- #3 Explicar aqui que comparar o crescimento ou decréscimo dos diversos KPIs é importante, mas não necessariamente indica se uma determinada feature causou essa melhora ou não e o mais importante é a forma como você comunica isso