Viéses Cognitivos em Product Management - Product Manager, OLX Brasil Exemplificação de diversos viéses cognitivos menos conhecidos que podem afetar o trabalho de um PM. Através da exposição dos exemplos compor uma lista do que não fazer ou evitar.

1. Cultura de Experimentação na OLX
Controlando o caos!Viéses Cognitivos em Product Management

2. MISSÃO: MELHORAR A QUALIDADE E
EFICIÊNCIA DAS DECISÕES DE PRODUTO

3. Plataforma de Experimentação
Registro de experimentos
Análises estatísticas
Treinamentos internos
Consultoria
Desenho de experimentos
Interpretação de resultados

4. Possibilidade de observar a tomada de
decisão sem ser stakeholder

5. “Não tem como dar negativo”
“É óbvio que vai aumentar”
“É muito pequeno para dar problema”

6. Às vezes a forma mais fácil de você estar errado é
ter CERTEZA de estar certo

7. BIAS BLIND SPOT
Excesso de confiança
Menor tendência a tentar controlar viéses
Bias Blind Spot: Structure, Measurement, and
Consequences (Scopelliti et al. 2015)

8. A MAIORIA DOS EXPERIMENTOS NÃO TEM
RESULTADO POSITIVO
Online Controlled Experiments at Large Scale
(Kohavi et al. 2013)

9. Afetam todos os seres humanos
Comprometem raciocínio lógico
Pacientes não percebem os sintomas
Um dos sintomas é achar que não está afetado
Não tem cura
Tratamentos sendo desenvolvidos
VIÉSES COGNITIVOS

10. DECOY EFFECT
Opção A
Plano Web
U$59
Opção B
Plano Web +
Revista
U$125
68% 32%

11. Opção A
Plano Web
U$59
Opção C
Plano Web +
Revista
U$125
Opção B
Plano Revista
U$125
16% 0% 84%
DECOY EFFECT

13. OBJETIVO: Aumentar número de itens publicados
SOLUÇÃO: Entregar um novo formulário para
inserção de anúncio
MÉTRICAS: Número de itens publicados
Taxa de campos preenchidos
DURAÇÃO: 1 Quarter

14. 2 Quarters depois
RESULTADO: -5% de itens publicados
+15% de campos preenchidos
CONCLUSÃO: Usuários estão preenchendo com
mais atenção, estamos perdendo anúncios que não
seriam de qualidade

15. Conclusão com Chute
Exemplo resultado ambíguo

16. Por que o número de itens publicado deve ter
caído?
1) Maior fricção para o usuário
2) Defeito no formulário
3) Usuários prestando mais atenção

17. APOFENIA

18. 1/3 das pessoas
viram um rosto
ou letra
Seeing Jesus in toast: Neural and behavioral correlates of face
pareidolia (Liu et al. 2014)

19. PRÉ-REGISTRO
DE
EXPERIMENTOS

20. Efeito Avestruz
Tendência a monitorar mais os sucessos do que as
falhas
EFEITO AVESTRUZ
Tendência a evitar informações que podem
causar desconforto
The Ostrich Effect: Selective attention to information
(Karlsson et al 2009)

21. Monitore métricas que mostrem PROBLEMAS

22. PRÉ-MORTEM

23. LEI DE HOFSTADTER
Uma tarefa sempre demora mais do que você
estima, mesmo levando-se em consideração a Lei
de Hofstadter

24. Externalização da culpa por atrasos
Internalização da responsabilidade por sucessos
Mais atenção aos cenários otimistas
Subestimação de durações de tempo no passado
VIÉSES NA ESTIMATIVA

25. BOOTSTRAP DIALÉTICO
- “Você errou, o que será que você não
considerou?”
- “Levando isso em consideração, qual é a nova
estimativa?”

26. BOOTSTRAP DIALÉTICO
1a Estimativa
2a Estimativa
Média

27. 1a Estimativa
2a Estimativa
Média
Estimativas ~10% melhores
The Wisdom of Many in One Mind: Improving Individual
Judgements With Dialectical Bootstrapping (Herzog et al 2009)
BOOTSTRAP DIALÉTICO

28. VIÉSES EM GRUPO

29. VIÉSES EM GRUPO

30. Diversidade de skills e backgrounds
Abertura para discordar

31. Controlar usuários com viéses para ganhar mais
Controlar viéses para ganhar mais usuários

32. Obrigado!
Felipe Leite
@felipempleite_
felipe.leite@olxbr.com

33. O que é uma decisão
Certo/errado x espectro de qualidade
Diversas definições e frameworks para análise
Ação baseada em valor esperado estimado
Qualidade deve ser medida baseada no contexto da tomada de decisão, sem hindsight

34. O que é uma decisão
Resulting bias - Predicted outcome x actual outcome

35. O que são viéses
Erros sistemáticos
Origem: gambiarra evolutiva
falso positivo mais arriscado que falso negativo -> pattern seeking (pareidolia)
heurísticas úteis em contextos com baixa informação/tecnologia e alta velocidade de decisão (split
seconds)

36. O que são viéses
How do I feel? x Is this true?

37. Como viéses podem influenciar numa decisão
1 - Busca por infos
2 - Pergunta feita
3 - Análise da resposta

38. Consequência de viéses
Viéses tendem a deslocar a qualidade da decisão para o lado inferior/negativo
Quanto melhor a qualidade das informações, perguntas feitas e análises -> melhor decisão
Qualidade de informação e qualidade de análise dependem da veracidade/realidade de ambas

39. Na OLX, observamos efeito bem estimado nas
métricas
Aprendemos a estimar impactos melhor

40. Origem evolutiva
Tomada de decisão tornou-se muito mais complexa
Ferramental mental inadequado

41. Importancia de controlar-los
Efeito exponencial
Bonus de 5-15%

42. Recap

43. Como mitigar?
Pacto de Ulisses

44. Pré registrar experimentos
Pacto de Ulisses

45. Foco nas métricas objetivo

46. Quebrar em tarefas menores
Estimativas Agile
Bootstrap Dialético

47. Na OLX, acompanhamento através da plataforma de
Experimentação (Guardrails)