No VivaReal, somos fanáticos por dados. Esse é um breve exemplo de como usamos diferentes fontes para validar protótipos.

1. Data-driven UX
Um case do VivaReal
Petrus Gomes
Product Manager - VivaReal
petrus.gomes@vivareal.com

2. Ser data-driven não é uma metodologia e muito menos uma técnica jedi que você aplica para
conseguir resultados infalíveis. Funciona mais como um mindset.
Caio Gama, UX - VivaReal

3. Motivação
● Você (Designer, Engenheiro, PM) não é usuário do seu sistema
○ Bias
○ Experiência
○ Paciência
● Design e desenvolvimento custam caro
● Erros custam ainda mais caro
○ Usuários insatisfeitos
○ Redesign, mais desenvolvimento
○ Tempo

4. Mitos
1. Data Means Numbers
2. Data Is the Objective Truth
3. Bigger Is Always Better
4. Data Is for Managers, Not Designers
5. Data Kills Innovation
Pamela Pavliscak
https://uxmag.com/articles/six-myths-about-data-driven-design

5. Que dados?
● Qualitativos
○ Testes de usabilidade
○ Entrevista com usuários
○ Personas
○ Comentários da App Store
● Quantitativos
○ Data Analytics
○ Pesquisa com usuários (email, telefone, in-app,…)
○ Testes A/B
○ NPS
○ Notas da App Store

6. Qualitativos
● Em geral, são direcionadores
○ Quais são meu usuários "principais"? (Personas)
○ Essa tela funciona como esperado? (testes de usabilidade)
○ Como os usuários resolvem esse problema sem meu produto? (entrevistas)
● Não servem para conclusões estatísticas
○ 20% dos usuários vão ter problema nessa tela
● Podem ser suficientes para validar ou invalidar um protótipo
● Podem explicar dados quantitativos
○ Usuários não enxergam o novo botão, por isso a conversão baixou

7. Teste de Usabilidade
● 5 usuários bastam
● Testes pequenos e objetivos
● Identifica a maioria dos problemas
● Ótimo para protótipos
● Cuidado com bias
● Monte um roteiro antes
www.nngroup.com/articles/why-you-only-need-to-test-with-5-users

8. Quantitativos
● Validam insights qualitativos
○ Quantas pessoas resolvem esse problema dessa forma? (pesquisas)
○ Quanto essa Persona gasta no produto? (data analytics)
● Tem relevância estatística
○ 60% dos usuários chegam à segunda fase do jogo (data analytics)
○ Essa nova tela teve queda de 10% na conversão (A/B tests)
● Não respondem porquês.
○ O novo botão derrubou a conversão
○ Mas ajudam muito na mineração das respostas

9. Teste A/B
● Isola fatores externos
● Estatisticamente relevante
● Precisa de grande volume de usuários
● Ferramentas:
○ Apptimize
○ Firebase Remote Config
○ Optimizely
○ Mixpanel
○ ...

10. ● Observar fatores externos
○ Impacto de Marketing
○ Tendências (dias/horários de pico)
○ Funis de Conversão
● Detectar problemas ou bugs
● Fontes
● GA, Firebase Analytics, Amplitude, Localytics, Mixpanel
● DB Interno
Data Analytics

11. Case: Agendamento de Visitas

13. Flow inicial

14. Pontos de entrada do usuário

15. Impacto: Volume de pessoas interessadas em agendar visita
Visibilidade diminui
Opção escolhida para alcançar maior impacto no MVP

16. Minimum Viable Product

17. Como medir?
Pedidos de Visita
Total de contatos
Pedidos de Visita
Cliques no CTA

18. Riscos
● Queda na conversão
○ 2 botões podem ser piores do que apenas um
○ Processo mais custoso do que contato normal
○ KPI: WAU e Contatos/Usuário
● Frustração do usuário
○ Expectativa alta de resposta
○ KPI: NPS

19. Proposta após alguns rascunhos

20. Data Analytics - Mensagens
* Os dados foram alterados e NÃO retratam valores reais

21. Triamos manualmente 1000 mensagens sobre Visita:
● 30% tinham data especifica
● 10% tinham um horário ou período específico (manhã/tarde).
Também compilamos mensagens de visita entre setembro e novembro de 2016 (29k mensagens de visita):
● 10% citam "hoje" ou "amanhã" (setembro a novembro 2016)
● 14% citam "hoje" ou "amanhã" nas sextas-feiras
● 5% dos pedidos ocorreram entre as 23:00 e as 02:00
* Os dados foram alterados e NÃO retratam valores reais
Data analytics - Mensagens

22. 1. Horário deveria ser opcional?
2. Indicador de "Hoje" na interface
para pessoas que acessam a noite.
3. Para agendamentos hoje/amanhã,
precisamos enfatizar de que é bom
ligar para o corretor para confirmar
4. Precisamos de um campo aberto
para observações.

23. Teste de usabilidade (sala espelho)
● Alguns não estavam "prontos" para agendar ainda. Preferiam perguntar algo
primeiro.
● A nova opção "Agendar Visita" não pareceu tão óbvia.
● O picker de horário estava aberto, o que abria espaço para horários de
madrugada, por exemplo.
● Usuário não entendeu a label "Venda" do filtro!

24. 1. Tooltip apresentando a nova feature no
segundo imóvel visualizado
2. Horário era setado com a hora atual do
device. Mudamos para 12:00 sempre
3. Botão fechar ficou menor no último
dialog

26. Teste A/B
● 50% dos usuários Android
● Erro: 2.5% (em pontos percentuais)
● Confiança: 95%
● Amostragem de 12.293 por variação
● KPIs para validação:
○ Conversão (usuários que enviam um contato)
○ Contatos/Usuário
*Valores devem ser levantados ANTES do teste começar

27. Próximos passos
● Pesquisa com usuários da feature
○ Consumidores e anunciantes
● Data analytics mais detalhado

28. Dicas rápidas
● Qual o objetivo do teste?
● Calcule o tamanho amostral antes do A/B
● Período mínimo para o teste
● Não teste tudo.
● Testes pequenos > Um teste grande
● 5 usuários são o bastante p/ teste de usabilidade
● Não esqueça dos eventos de analytics

29. Obrigado!
Data-driven design? - Caio Gama
https://www.nngroup.com/articles/quantitative-studies-how-many-users/
https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
https://www.usability.gov/how-to-and-tools/methods/usability-testing.html
https://www.nngroup.com/articles/task-scenarios-usability-testing/
http://blog.invisionapp.com/data-driven-design/
https://uxmag.com/articles/six-myths-about-data-driven-design
http://nerds.airbnb.com/experiments-at-airbnb/
Hooked - How to Build Habit-Forming Products
Contatos
Petrus Gomes / PM - Consumer Apps
petrus.gomes@vivareal.com
Henrique Blefari / UX - Consumer Apps
henrique.blefari@vivareal.com

30. beersandbytes.vivareal.com.br
16/03, às 16:00