O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Experimentation anti patterns

44 visualizações

Publicada em

In my last six years working at Globo.com I made many mistakes working with A/B experimentation. In this presentation I cataloged some of those mistakes as advice to avoid made them again in the future.

Publicada em: Dados e análise
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Experimentation anti patterns

  1. 1. Experimentation Anti-Patterns
  2. 2. Comparação temporal
  3. 3. Comparação temporal Nova funcionalidade
  4. 4. Comparação temporal http://www.tylervigen.com/spurious-correlations
  5. 5. Comparação temporal
  6. 6. Comparação temporal da alavancagem
  7. 7. Comparação temporal da alavancagem 50%⬆ 60%⬆
  8. 8. Comparação temporal da alavancagem
  9. 9. Comparação temporal da alavancagem
  10. 10. Comparação temporal da alavancagem 60%⬆ 40%⬇
  11. 11. Longo ciclo de desenvolvimento
  12. 12. Longo ciclo de desenvolvimento $ A/B Sucesso! Ufa :(
  13. 13. Longo ciclo de desenvolvimento https://ai.stanford.edu/~ronnyk/ExPThinkWeek2009Public.pdf 1/3
  14. 14. Longo ciclo de desenvolvimento 75%
  15. 15. O experimento que vira funcionalidade
  16. 16. O experimento que vira funcionalidade Mínimo necessário para validar hipótese Experimento foi um sucesso Produção
  17. 17. O experimento que vira funcionalidade
  18. 18. O experimento que vira funcionalidade Mínimo necessário para validar hipótese Experimento foi um sucesso Produção Implementar corretamente
  19. 19. Métrica incorreta
  20. 20. Métrica incorreta $
  21. 21. Métrica incorreta ℹ
  22. 22. Métrica não acionável
  23. 23. Métrica não acionável Churn Lifetime Value Ads Revenue - Muito tempo para comparar - Muitas influências externas - Dificilmente separável em A/B
  24. 24. Métrica não acionável Churn Lifetime Value Ads Revenue Média de tempo Frequência Assertiveness
  25. 25. Alvo populacional errado
  26. 26. Alvo populacional errado Acidental Moderado Heavy
  27. 27. Desconsiderar mudança populacional
  28. 28. Desconsiderar mudança populacional Acidental Heavy Inicio do teste A/B Fim do teste A/B
  29. 29. Desconsiderar mudança populacional Resultado do AB para heavys: Número de heavys:
  30. 30. A segmentação infinita
  31. 31. A segmentação infinita Amostra de usuários do experimento
  32. 32. A segmentação infinita Moderados
  33. 33. A segmentação infinita Nas quarta-feiras
  34. 34. A segmentação infinita Em uma faixa de horário
  35. 35. A segmentação temporal
  36. 36. A segmentação temporal
  37. 37. Observações não independentes
  38. 38. Observações não independentes Por impressão Por usuárioX
  39. 39. Observações não independentes http://ewulczyn.github.io/ab_testing_and_independence/ https://medium.com/convoy-tech/cracking-correlated- observations-in-a-b-tests-with-mixed-effect-models- 80a63027444e
  40. 40. Experimentation Anti-Patterns - Comparação temporal - Comparação temporal da alavancagem - Longo ciclo de desenvolvimento - O experimento que vira funcionalidade - Métrica incorreta - Métrica não acionável - Alvo populacional errado - Segmentação infinita - Segmentação temporal - Observações não independentes
  41. 41. Desculpa
  42. 42. @timotta

×