Cultura de experimentação na OLX - OLX - Thiago Belluf - Product Camp 2017 Todas as palestras dessa edição foram gravadas e estão disponíveis no Youtube do evento. Acesse: http://bit.ly/youtubedoeventodeproduto

1. Cultura de Experimentação na OLX
Controlando o caos!Cultura e desafios de Experimentação
Controlando o caos!

2. Produto
6M de usuários por dia
200M Pageviews por dia
12M de anúncios ativos
Time
4 Plataformas
15 Gestores de Produto
12 Gerentes de Engenharia
20 Squads
150 Pessoas em Tech & Produto
CAOS!
Nova feature
lançada!
Campanha de
marketing!
Serviço caiu!
Queda do
dólar
Nova feature
lançada!
Nova feature
lançada!

3. E como se organizar no
meio do Caos?
Método!
Experimentação!

4. Ferramentas
Cinto de utilidades do profissional de produto

5. Sweet Spot
Isolamento
Final QA
Otimização
Ferramentas
OnlineOffline
QuantitativoQualitativo
● Simulação
● Séries
Temporais
● Teste
A/B
● Multi-armed
Bandit
● Testes de
Usabilidade
● Avaliações
Heurísticas
● Heatmaps &
Scrollmaps● Surveys
● Gravação de
interações
● Cross-validation● Surveys

6. Desafios

7. Cultura e pessoas
Como colocar
experimentação na rotina e
criar disciplina?
Posicionamento da liderança: ajuda
a instaurar disciplina e sobe a régua de cobrança
Oxigenação: traga pessoas que já têm
experimentação na veia
Peer pressure: ninguém quer ficar de fora
Ferramenta: auxílio no processo e baixa fricção

8. Contratar ou
construir?
Mercado Própria
Agilidade - front-end
Visualização de resultados
Aplicação de estatística
Testes de back-end
Controle sobre estatística
Gestão de experimentos

9. Vai construir?
Então atenção nesses pontos aqui!
Arquitetura
Cache
Modelagem
Tracking
Processamento
Estatística
Visualização
Construindo a
própria
ferramenta

10. Quais os principais pontos de atenção na hora de implementar?
Arquitetura e Cache
Cache key:
<URL, TestVariant>
Ponto de atenção:
Custo

11. Como avaliar e validar sua
ferramenta?
Testes A/A Offline
Usuários mudando de grupo
Proporção do Split
Testes A/A Online

12. Desenho e análise
Como escolher quais
métricas são importantes?
Métricas Objetivo
Contatos / Usuário
Métricas Explicativas
Buscas realizadas / Usuário
Cliques na busca / Usuário
Sessões / Usuário
Métricas Restritivas
R$ Publicidade / Usuário
?

13. Como aplicar corretamente
a estatística?
Conversão 13.2 13.4 13.1
-1.5%
+0.75%
-2.3%
α = 0.05
β = 0.8
Min. Detectável = 5%
p-value = 0.3

14. Futuro

15. O que?
Testes A/B no mobile browser
Problema
Mantendo o stickness: Googleweb light
& Volatilidade dos dados do browser
Solução
Progressive Web Apps

16. O que?
Testar alterações nas regras de
publicação
Problema
Não existem ferramentas equivalentes
a testes A/B para ingestão de conteúdo
Solução
Marcar anúncios no momento no fluxo
de publicação e fazer um A/B na busca
com grupos contendo ou não anúncios
marcados
Ad
Serenity
I
II
AdAd
Ad Ad
Ad
Controle Teste

17. O que?
Relacionar os resultados de teste com
informações qualitativas
Problemas
Integração de dados e …
tempo pra fazer (risos)
Solução
Integrar os resultados quantitativos
com resultados das pesquisas de NPS

18. Próximo grande passo

19. Multi-armed Bandit
O que é?
Técnica de otimização
Melhor opção é escolhida automaticamente
Vantagens
Minimiza perdas
Sistema adaptativo
Desafios
Estatística mais avançada
Tunagem para convergir
Engenharia: Real-time decision
Exploration
Exploitation

20. Time de Experimentação

21. Experimentação na OLX
Dashboard - visualização
resultados
Treinamento PMsAutonomia
Plataforma única de
experimentaçãoEficiência
Refactoring - Arquitetura
voltada para testes
Ferramenta de mercado
+ Ferramenta interna
Confiança
Validação automática
dos testes

22. Obrigado!
Thiago Belluf Inoue
Product Operations
thiago.belluf@olxbr.com
Linkedin: /in/thiago-belluf-inoue-231b4a38/