1) O documento discute como a empresa GetNinjas estruturou seus times, infraestrutura e processos para tomar decisões de produto baseadas em mais de 1 bilhão de pontos de dados. 2) Apresenta como a empresa evoluiu de 20 mil para 120 mil pedidos ao longo de 3 anos, alterando seu foco e estrutura de acordo com as necessidades do negócio em cada estágio. 3) Explica como a empresa mudou de uma abordagem de web analytics para data warehousing, implementando o Snowplow para obter visibilidade mais profunda sobre

1. Estruturando time, infra e processos para tomar decisões
de produto com 1+ bilhão de data points
Bernardo Srulzon
bernardo@getninjas.com.br

2. COMO FUNCIONA?

3. OVERVIEW
2,000,000
serviços solicitados por ano
(run-rate de Maio/17)
220,000
profissionais cadastrados
R$270M+
em transações realizadas por ano
(run-rate de Maio/17)
100+
categorias, de eletricista a professor de
inglês

4. OVERVIEW
Cada ponto é um
“Mini GetNinjas”,
com 100 categorias
300 cidades
100 categorias
x
30k combinações
para as quais devemos manter o
balanço entre oferta e demanda

5. #1
Neste cenário, qual deve ser o
papel de Business Intelligence?

6. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups

7. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Estamos conseguindo manter o equilíbrio entre oferta e demanda?
Quais canais de marketing devemos utilizar para gerar liquidez?
Pirate Metrics by Dave McLure @ 500 Startups

8. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Estamos conseguindo indicar bons profissionais?
Os profissionais conseguem fechar um serviço na primeira semana?
Pirate Metrics by Dave McLure @ 500 Startups

9. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Clientes voltam a fazer pedidos em outra categoria nas semanas seguintes?
Profissionais continuam interagindo com clientes e fechando serviços?
Pirate Metrics by Dave McLure @ 500 Startups

10. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Clientes compartilham a experiência e trazem novos clientes?
Profissionais bem sucedidos indicam seus colegas?
Pirate Metrics by Dave McLure @ 500 Startups

11. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
O preço das leads (pedidos) está justo e traz retorno para o profissional?
Conseguimos extrair o máximo valor de cada profissional?
Pirate Metrics by Dave McLure @ 500 Startups

12. Se o papel de BI é responder a estas perguntas complexas, a abordagem
tradicional não funciona muito bem
Uma visão tradicional de BI...
Coleta dados
Gera relatórios
Envia para o tomador de decisão
Sentimento de dono Impacto no negócio Autonomia Pensamento fora da caixa

13. Nosso papel é transformar dados em insights e ações; na prática, partimos de
uma hipótese e participamos de todo o processo de decisão
Data science only matters if data drives action
Jeremy Stanley, VP Data Science @ Instacart
Hipótese Exploração & Validação Decisão
Time parte de uma hipótese
Devemos ajustar nossos planos de
forma que um profissional consiga
fechar ao menos um pedido. Isto
deve aumentar nossa retenção.
Elabora um plano para validá-la
Analisando o histórico de serviços
contratados e aplicando um
modelo estatístico, devemos
conseguir determinar o valor do
plano
Participam da tomada de decisão
Chegamos a conclusão que o
plano mais básico deve permitir a
compra de 30 leads. Vamos
avançar com a implementação e
analisar o impacto em retenção

14. #2
De 20mil a 120 mil pedidos. Como foi
essa evolução?

15. Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em
que o negócio se encontrava
2014
Foco
Product-market-fit: garantir que
nosso produto realmente resolve
uma dor do mercado
2
• Setup completo do Google
Analytics
• Primeira versão do algoritmo
de distribuição
• Análises focadas em dados
transacionais

16. Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em
que o negócio se encontrava
2014 2015
Foco
Product-market-fit: garantir que
nosso produto realmente resolve
uma dor do mercado
Foco
Entender a fundo como os clientes
e profissionais interagem com a
plataforma. Questionar os detalhes.
2 4
• Setup completo do Google
Analytics
• Primeira versão do algoritmo
de distribuição
• Análises focadas em dados
transacionais
• Esbarramos nas limitações do
GA, e seguimos com
Snowplow
• Treinamento do time
• Divisão do trabalho em
aquisição e fechamento

17. Nos últimos 3 anos, evoluimos nosso foco e estrutura para refletir o momento em
que o negócio se encontrava
2014 2015 2016
Foco
Product-market-fit: garantir que
nosso produto realmente resolve
uma dor do mercado
Foco
Entender a fundo como os clientes
e profissionais interagem com a
plataforma. Questionar os detalhes.
Foco
Ter uma visão completa do
usuário, e democratizar o acesso
aos dados
2 4 7
• Setup completo do Google
Analytics
• Primeira versão do algoritmo
de distribuição
• Análises focadas em dados
transacionais
• Esbarramos nas limitações do
GA, e seguimos com
Snowplow
• Treinamento do time
• Divisão do trabalho em
aquisição e fechamento
• Integração com sistemas de
atendimento e vendas
• Divisão do time em squads
multidisciplinares
• Algoritmos mais complexos de
distribuição e marketing

18. #3
Web analytics +
Data warehousing

19. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?

20. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?

21. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Será que cidades
do interior
convertem menos?

22. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Será que cidades
do interior
convertem menos?
Qual % dos
usuários carrega
em menos de 5s?

23. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Quantos usuários
interagem com o
formulário?

24. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Quantos usuários
interagem com o
formulário?
Quanto tempo
demoram?

25. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Quantos usuários
interagem com o
formulário?
Quanto tempo
demoram?
Quantos tem falhas
na validação?

26. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Quantos usuários
interagem com o
formulário?
Quanto tempo
demoram?
Quantos tem falhas
na validação?
O comportamento
dos recorrentes é
diferente?

27. Para responder estas perguntas, precisamos de uma estrutura de web analytics
que permita uma segmentação fina dos dados
Canal
Tipo de
Página
Device Teste A/B
Categoria Funil
Load TimeCidade
Segmentação é fundamental!
SP RJ MG RS
Qual é a taxa de conversão do site?
WiFi/3GRecorrente
All data in aggregate is crap
Avinash Kaushik

28. Trackings geram insights sobre o comportamento de cada usuário e sobre o
comportamento do grupo
Onde estão ocorrendo os
maiores atritos e quais
são as hipóteses?
Visita
Interação com formulário
2º step
100%
Interação no 2º step
Conversão!
50%
40%
20%
30%
Como o funil está
evoluindo ao longo do
tempo?
Qual é o comportamento do grupo?

29. Trackings geram insights sobre o comportamento de cada usuário e sobre o
comportamento do grupo
Onde estão ocorrendo os
maiores atritos e quais
são as hipóteses?
Visita
Interação com formulário
2º step
100%
Interação no 2º step
Conversão!
50%
40%
20%
30%
Como o funil está
evoluindo ao longo do
tempo?
Qual é o comportamento do grupo?
Sign-up (SEO)
Recebeu pedido
Recebeu avaliação
Baixou app
Comprou plano
Ligação onboarding
E-mail marketing
D+0
D+1
D+5
D+7
D+20
D+20
D+30
Planejar ações de
(re)marketing
Comunicação com base
em eventos
Quais ações fazem
antes de baixar o app?
Mais informações para
os vendedores
Qual é o comportamento de um usuário?
Debugging

30. Estas perguntas complexas acabaram nos fazendo esbarrar em diversas
limitações do Google Analytics, e saímos para buscar alternativas
Difícil segmentar corretamente os
dados
Sem tracking de formulários Difícil identificar usuários
Cross-device limitado Difícil integrar com outras fontes
Difícil aplicar nossa lógica de
negócios
Algumas das limitações...

31. Estas perguntas complexas acabaram nos fazendo esbarrar em diversas
limitações do Google Analytics, e saímos para buscar alternativas
SEM SEO Direto Direto Direto Direto Direto
SEM SEO SEO SEO SEO SEO SEO
Visita #1 #2 #3 #4 #5 #6 #7
Atribuição de canais
Realidade
GA estava reportando 50% menos
tráfego direto do que esperávamos
Difícil segmentar corretamente os
dados
Sem tracking de formulários Difícil identificar usuários
Cross-device limitado Difícil integrar com outras fontes
Difícil aplicar nossa lógica de
negócios
Algumas das limitações...

32. Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
Identifica os usuários e monitora o
comportamento no site/app
Armazena as informações brutas em
um data warehouse (Redshift)
Facilita a análise em ferramentas de
BI: Tableau, R, Looker, Python
Queremos ser donos dos nossos dados Queremos trackear o usuários na web e no app
Queremos ter uma visão completa do usuário Queremos responder a qualquer pergunta!
Por quê?

33. Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
Identifica os usuários e monitora o
comportamento no site/app
Armazena as informações brutas em
um data warehouse (Redshift)
Facilita a análise em ferramentas de
BI: Tableau, R, Looker, Python
Beanstalk EMR Redshift Redshift

34. Um detalhe: a um custo muito menor que qualquer alternativa no mercado SaaS

35. Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Apps
SMS
CRM/Sales
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
Push
Support
Server-side events
via Snowplow
Integrações externas
via Stitch
DATA MODEL
300M eventos
por mês
Transforma dados “atômicos” em modelos mais
simples, com lógica de negócios
Email

36. ANTES
Visão Google Analytics

37. DEPOIS
Visão Snowplow

38. Redshift e Tableau são melhores amigos - as análises são muito rápidas e
permitem todo o tipo de segmentação/visualização
Milhões de dados do Redshift
disponíveis para análises
drag&drop
Integração com outras fontes de
dados (CSV, Excel, MySQL, etc)
Diversas formas de visualização
dos dados
Flexibilidade para
cálculos/fórmulas customizados

39. Metabase | Online dashboards
https://github.com/metabase/metabase

40. #4
Estrutura e perfil do time

41. Estrutura e perfil do time
Decision Science
2014-2015 2016
Time centralizado
Product-market-fit: garantir que nosso produto realmente
resolve uma dor do mercado
Time dividido em squads multidisciplinares
Ter uma visão completa do usuário, e democratizar o
acesso aos dados
Foco em tomar decisões de negócios com base em dados.
Função parecida com um product manager.
Skills
Business + SQL + Excel + Tableau + Programação básica
Perfil
Estagiário/recém-formado em faculdades top de exatas
6 Data Science5
Foco em desenvolver sistemas/algoritmos para oferecer
uma melhor experiência
Skills
Business + Modelagem + Programação
Perfil
Mestrado/Doutorado + alguns anos de experiência

42. Estrutura e perfil do time
Tech
Produto
Design
BI
Conteúdo
Alinhamento dos
“especialistas” a
cada 2 semanas
Times
multidisciplinares
e autosuficientes
Focados em OKRs
específicos

43. #5
E no futuro?

44. Devemos empoderar cada vez mais outras áreas/pessoas a gerar hipóteses,
explorar dados e tomarem decisões de produto
Business Intelligence
Construir e manter a infra-estrutura de dados
Fazer a modelagem aplicando a lógica de negócios aos
dados
Oferecer treinamento e coaching Continuar criando e explorando hipóteses
Produto Marketing Tech Suporte & Vendas
Decisões focadas na
experiência do cliente e
profissional
Alocação de budget,
escolha dos canais de
marketing, modelo de
atribuição
Tempo de carregamento
das páginas, identificação
de possíveis bugs e
pontos de melhoria
Perfomance do time,
modelo de comissão, lead
scoring para vendas

45. Workshop BI @ NEU
Bernardo Srulzon
bernardo@getninjas.com.br