O documento aborda como o GetNinjas, a maior plataforma de serviços do Brasil, estrutura seu time e seus processos baseados em mais de 10 bilhões de pontos de dados para tomar decisões de produto. A equipe de dados atua como intérprete, transformando dados em insights para melhorar a interação entre clientes e profissionais, garantindo um equilíbrio entre oferta e demanda em suas 200 categorias de serviços. O foco está em criar a melhor experiência do usuário, utilizando métricas e análises complexas para otimizar decisões e desenvolver produtos.

1. Estruturando time, infra e processos para tomar decisões de
produto mais inteligentes com 10+ bilhões de data points
Bernardo Srulzon
bernardo@getninjas.com.br

2. Somos a maior plataforma
de contratação de serviços
do Brasil!

3. COMO FUNCIONA?
1
Conte qual tipo de
serviço você precisa
2
Indicamos até 3
profissionais na sua região
3
Contrate o professional e
seja bem atendido

4. OVERVIEW
2.000.000
serviços solicitados por ano
500.000
profissionais cadastrados
R$300M
em transações realizadas por ano
200
categorias, de eletricista a professor de
inglês

5. O desafio de uma
plataforma horizontal
Cada ponto é um
“Mini GetNinjas”,
com 200 categorias
3000 cidades
200 categorias
x
600k combinações
para as quais devemos manter o balanço
entre oferta e demanda

6. BERNARDO SRULZON
https://www.linkedin.com/in/bernardosrulzon
bernardo@getninjas.com.br
• Experiência com um dos primeiros e mais influentes fundos de VC
do Brasil, a Monashees Capital
• Hoje sou CPO no GetNinjas, mas também indiretamente
responsável por Marketing e Dados
• Piloto de planador no tempo livre :)

8. Nós caracterizamos dados como a voz dos nossos usuários em escala.
Assim, o time de data faz papel de intérprete - utilizamos dados e estatística para
entender nossos usuários e traduzir isso em uma voz que pessoas e máquinas
podem entender. Nós complementamos esses insights quantitativos com insights
qualitativos (ex. entrevistas com usuários) para tomar as melhores decisões
possíveis para o negócio e a comunidade de anfitriões e hóspedes

9. #1
Objetivos do negócio
O que é sucesso e como saber quando chegamos lá?

10. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups

11. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Clientes/Profissionais
Estamos conseguindo manter o equilíbrio entre
oferta e demanda?
Clientes/Profissionais
Quais canais de marketing devemos utilizar
para gerar liquidez?

12. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Clientes
Estamos conseguindo indicar bons
profissionais?
Profissionais
Os profissionais conseguem fechar pelo menos
1 serviço no primeiro mês?

13. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Clientes
Clientes voltam a fazer pedidos em outra
categoria nas semanas seguintes?
Profissionais
Profissionais continuam interagindo com
clientes e fechando serviços?

14. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Clientes
Clientes compartilham a experiência e trazem
novos clientes?
Profissionais
Profissionais bem sucedidos indicam seus
colegas?

15. Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Profissionais
O preço das leads (pedidos) está justo e traz
retorno para o profissional?
Profissionais
Conseguimos extrair o máximo valor de cada
profissional?

16. #2
Neste cenário, qual deve ser o
papel do time de dados?

17. Se o papel do time de dados é responder a estas perguntas complexas, a abordagem
tradicional não funciona muito bem
1. Coleta dados
2. Gera relatórios
3. Envia para o tomador de decisão
Uma visão tradicional de dados...

18. Se o papel do time de dados é responder a estas perguntas complexas, a abordagem
tradicional não funciona muito bem
Uma visão tradicional de dados...
1. Coleta dados
2. Gera relatórios
3. Envia para o tomador de decisão
Sentimento de
dono
Impacto no
negócio
Autonomia
Pensamento
fora da caixa

19. Nosso papel é transformar dados em insights e ações; na prática, partimos de uma
hipótese e participamos de todo o processo de decisão
Data science only matters if data drives action
Jeremy Stanley, VP Data Science @ Instacart

20. Nosso papel é transformar dados em insights e ações; na prática, partimos de uma
hipótese e participamos de todo o processo de decisão
Hipótese Exploração & Validação Decisão
Time parte de uma hipótese Elabora um plano para validá-la Participam da tomada de decisão
Data science only matters if data drives action
Jeremy Stanley, VP Data Science @ Instacart
Isso significa que o time de dados precisa participar de todas as etapas de
desenvolvimento do produto!

21. Nosso papel é transformar dados em insights e ações; na prática, partimos de uma
hipótese e participamos de todo o processo de decisão
Hipótese Exploração & Validação Decisão
Time parte de uma hipótese Elabora um plano para validá-la Participam da tomada de decisão
Data science only matters if data drives action
Jeremy Stanley, VP Data Science @ Instacart
Isso significa que o time de dados precisa participar de todas as etapas de
desenvolvimento do produto!Menos reports, mais insights!

22. Case – Discovery
Time está trabalhando em um novo sistema de avaliações para aumentar a confiança

23. #3
De 20 a 200 mil pedidos. Como foi
essa evolução?

24. Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que
o negócio se encontrava
2014 2
Foco
Product-market-fit:
garantir que nosso
produto realmente
resolve uma dor do
mercado
• Setup completo do GA
• Primeira versão do
algoritmo de
distribuição
• Análises focadas em
dados transacionais

25. Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que
o negócio se encontrava
2014 20152 4
Foco
Product-market-fit:
garantir que nosso
produto realmente
resolve uma dor do
mercado
Foco
Entender a fundo como os
clientes e profissionais
interagem com a
plataforma
• Setup completo do GA
• Primeira versão do
algoritmo de
distribuição
• Análises focadas em
dados transacionais
• Esbarramos nas
limitações do GA, e
seguimos com Snowplow
• Treinamento do time
• Divisão do trabalho em
times

26. Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que
o negócio se encontrava
2014 2015 20162 4
Foco
Product-market-fit:
garantir que nosso
produto realmente
resolve uma dor do
mercado
Foco
Entender a fundo como os
clientes e profissionais
interagem com a
plataforma
Foco
Ter uma visão completa
do usuário, e
democratizar o acesso
aos dados
• Setup completo do GA
• Primeira versão do
algoritmo de
distribuição
• Análises focadas em
dados transacionais
• Esbarramos nas
limitações do GA, e
seguimos com Snowplow
• Treinamento do time
• Divisão do trabalho em
times
• Divisão do time em
squads
• Dashboards em real-
time em todos os times
• Algoritmos mais
complexos de
distribuição e marketing
7

27. Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que
o negócio se encontrava
2014 2015 20162 4 7
Foco
Product-market-fit:
garantir que nosso
produto realmente
resolve uma dor do
mercado
Foco
Entender a fundo como os
clientes e profissionais
interagem com a
plataforma
Foco
Ter uma visão completa
do usuário, e
democratizar o acesso
aos dados
• Setup completo do GA
• Primeira versão do
algoritmo de
distribuição
• Análises focadas em
dados transacionais
• Esbarramos nas
limitações do GA, e
seguimos com Snowplow
• Treinamento do time
• Divisão do trabalho em
times
• Divisão do time em
squads
• Dashboards em real-
time em todos os times
• Algoritmos mais
complexos de
distribuição e marketing
Foco
Maximizar os insights de
produto e investir nos
modelos de Data Science
• Modelos de data science
em produção
• Análises mais profundas
servem como “briefing”
para os times
2017-18 10+

28. #4
Entrando nos detalhes
Web analytics + Data warehousing

29. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários

30. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Será que cidades do
interior convertem
menos?
Qual % dos
usuários carrega
em menos de 5s?

31. Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Será que cidades do
interior convertem
menos?
Qual % dos
usuários carrega
em menos de 5s?
Quantos usuários
interagem com o
formulário?
Quanto tempo
demoram?
Quantos tem falhas
na validação?
O comportamento
dos recorrentes é
diferente?

32. Para responder estas perguntas, precisamos de uma estrutura de web analytics que
permita uma segmentação fina dos dados
Canal
Tipo de
página
Device Teste A/B
Categoria Funil
Load TimeCidade
Segmentação é fundamental!
Novos usuários Recorrentes
Qual é a taxa de conversão do site?
WiFi/3GRecorrente
All data in aggregate is crap
Avinash Kaushik

33. Na prática, essas distribuições são muito mais complexas…
Qual é a taxa de conversão do site?

34. Na prática, essas distribuições são muito mais complexas…
Qual é a taxa de conversão do site?
“Na média é 10%”

35. Trackings geram insights sobre o comportamento de cada usuário e sobre o
comportamento do grupo
Visita
Interação com formulário
2º step
100%
Interação no 2º step
Conversão!
50%
40%
20%
30%
Qual é o comportamento do grupo?
Onde estão ocorrendo
os maiores atritos?
Como o funil evolui ao
longo do tempo?

36. Trackings geram insights sobre o comportamento de cada usuário e sobre o
comportamento do grupo
Onde estão ocorrendo
os maiores atritos?
Visita
Interação com formulário
2º step
100%
Interação no 2º step
Conversão!
50%
40%
20%
30%
Como o funil evolui ao
longo do tempo?
Qual é o comportamento do grupo?
Sign-up (SEO)
Recebeu pedido
Recebeu avaliação
Baixou app
Comprou plano
Ligação onboarding
E-mail marketing
D+0
D+1
D+5
D+7
D+20
D+20
D+30
Planejar ações de
(re)marketing
Comunicação com
base em eventos
Quais ações fazem
antes de converter?
Mais informações
para time de CS
Qual é o comportamento de um usuário?
Debugging

37. Estas perguntas complexas acabaram nos fazendo esbarrar em diversas limitações
do Google Analytics, e saímos para buscar alternativas
Difícil segmentar
corretamente os dados
(amostragem)
Sem tracking de formulários Difícil identificar usuários
Cross-device limitado
Dados vivem em “silos”
É difícil integrar com outras
fontes
Difícil aplicar nossa lógica de
negócios
Algumas das limitações do Google Analytics...

38. Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
Tracking do comportamento dos
usuários no site/app
Armazena as informações brutas em
um data warehouse (Redshift)
Facilita a análise em ferramentas de
BI: Tableau, R, Looker, Python

39. Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
Tracking do comportamento dos
usuários no site/app
Armazena as informações brutas em
um data warehouse (Redshift)
Facilita a análise em ferramentas de
BI: Tableau, R, Looker, Python
Queremos ser donos dos nossos dados Queremos trackear o usuários na web e no app
Queremos ter uma visão completa do usuário Queremos responder a qualquer pergunta!
Principais objetivos com essa mudança

40. Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
EC2 EMR Redshift Redshift
Todo esse pipeline roda na Amazon, com pouquíssima necessidade de manutenção!

41. Nosso data warehouse recebe eventos de diversas fontes diferentes
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
500M eventos
por mês

42. Nosso data warehouse recebe eventos de diversas fontes diferentes
Apps
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
500M eventos
por mês
Email

43. Nosso data warehouse recebe eventos de diversas fontes diferentes
Apps
SMS
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
Push
Server-side events
via Snowplow
500M eventos
por mês
Email

44. Nosso data warehouse recebe eventos de diversas fontes diferentes
Apps
SMS
CRM + Support
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
Push
Server-side events
via Snowplow
Integrações externas
via Stitch
500M eventos
por mês
Email

45. Nosso data warehouse recebe eventos de diversas fontes diferentes
Apps
SMS
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
Push
Server-side events
via Snowplow
DATA MODEL
500M eventos
por mês
Email
É nesse processo que consolidamos os
dados em tabelas que são nosso
“single source of truth”
CRM + Support

48. Conversão de “Categorias” é
consistentemente maior que
“Anúncios” e “Orçamentos”

49. Gap entre Desktop/Mobile é pequeno
nessa segmentação
…e bem maior aqui!

50. …outras são péssimas!
Algumas categorias funcionam bem nas
páginas de “Orçamentos”

51. …esta está caindo!
Enquanto essa categoria está
subindo…

52. Tableau é excelente para analyses exploratórias - as análises são muito rápidas e
permitem todo o tipo de segmentação/visualização
Bilhões de data points do Redshift
disponíveis para análises drag&drop
Integração com outras fontes de
dados (CSV, Excel, MySQL, etc)
Diversas formas de visualização
dos dados
Flexibilidade para
cálculos/fórmulas customizados

53. Metabase | Online dashboards
https://github.com/metabase/metabase

54. #4
Estrutura e perfil do time

55. Dividimos o time de dados em dois grupos: decision scientists e data scientists
Decision Science
Foco em tomar decisões de negócios com base em dados.
Função parecida com um product manager
Skills
Business + SQL + Excel + Tableau + Programação básica
Perfil
Estagiário/recém-formado em faculdades de exatas
Data Science
Foco em desenvolver sistemas/algoritmos para oferecer
uma melhor experiência
Skills
Business + Modelagem + Programação
Perfil
Mestrado/Doutorado + alguns anos de experiência

56. Dividimos o time de dados em dois grupos: decision scientists e data scientists
Decision Science
2014-2015 2016+
Time centralizado
Padronizar as decisões de ferramentas e processos para criar
um time unido e com excelente interação com produto
Time dividido em squads multidisciplinares
Ter uma visão completa do usuário, e democratizar o acesso
aos dados
Foco em tomar decisões de negócios com base em dados.
Função parecida com um product manager
Skills
Business + SQL + Excel + Tableau + Programação básica
Perfil
Estagiário/recém-formado em faculdades de exatas
Data Science
Foco em desenvolver sistemas/algoritmos para oferecer
uma melhor experiência
Skills
Business + Modelagem + Programação
Perfil
Mestrado/Doutorado + alguns anos de experiência

57. Estamos organizados em times multidisciplinares
Alinhamento dos
especialistas a
cada semana
Tech
Produto
Design
Data
Times
multidisciplinares
Focados em OKRs
específicos

58. Time participa
ativamente de discovery,
analisando o cenário atual
e propondo experimentos

59. Time participa
ativamente de discovery,
analisando o cenário atual
e propondo experimentos
...e também acompanha
métricas em delivery!

60. #5
Qual a visão de futuro?

61. Devemos empoderar cada vez mais outras áreas/pessoas a gerar hipóteses,
explorar dados e tomar decisões de produto
Produto Marketing Tech Customer Support
Decisões focadas na
experiência do cliente e
profissional
Alocação de budget,
escolha dos canais de
marketing, modelo de
atribuição
Tempo de carregamento
das páginas, identificação
de possíveis bugs e
pontos de melhoria
Perfomance do time,
modelo de comissão, lead
scoring para vendas
Data
Construir e manter o pipeline de dados
Fazer a modelagem aplicando a lógica de negócios aos
dados
Oferecer treinamento e coaching Continuar criando e explorando hipóteses

62. Estruturando time, infra e processos para tomar decisões de
produto mais inteligentes com 10+ bilhões de data points
Bernardo Srulzon
bernardo@getninjas.com.br