SlideShare uma empresa Scribd logo
1 de 62
Baixar para ler offline
Estruturando time, infra e processos para tomar decisões de
produto mais inteligentes com 10+ bilhões de data points
Bernardo Srulzon
bernardo@getninjas.com.br
Somos a maior plataforma
de contratação de serviços
do Brasil!
COMO FUNCIONA?
1
Conte qual tipo de
serviço você precisa
2
Indicamos até 3
profissionais na sua região
3
Contrate o professional e
seja bem atendido
OVERVIEW
2.000.000
serviços solicitados por ano
500.000
profissionais cadastrados
R$300M
em transações realizadas por ano
200
categorias, de eletricista a professor de
inglês
O desafio de uma
plataforma horizontal
Cada ponto é um
“Mini GetNinjas”,
com 200 categorias
3000 cidades
200 categorias
x
600k combinações
para as quais devemos manter o balanço
entre oferta e demanda
BERNARDO SRULZON
https://www.linkedin.com/in/bernardosrulzon
bernardo@getninjas.com.br
• Experiência com um dos primeiros e mais influentes fundos de VC
do Brasil, a Monashees Capital
• Hoje sou CPO no GetNinjas, mas também indiretamente
responsável por Marketing e Dados
• Piloto de planador no tempo livre :)
Nós caracterizamos dados como a voz dos nossos usuários em escala.
Assim, o time de data faz papel de intérprete - utilizamos dados e estatística para
entender nossos usuários e traduzir isso em uma voz que pessoas e máquinas
podem entender. Nós complementamos esses insights quantitativos com insights
qualitativos (ex. entrevistas com usuários) para tomar as melhores decisões
possíveis para o negócio e a comunidade de anfitriões e hóspedes
#1
Objetivos do negócio
O que é sucesso e como saber quando chegamos lá?
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Clientes/Profissionais
Estamos conseguindo manter o equilíbrio entre
oferta e demanda?
Clientes/Profissionais
Quais canais de marketing devemos utilizar
para gerar liquidez?
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Clientes
Estamos conseguindo indicar bons
profissionais?
Profissionais
Os profissionais conseguem fechar pelo menos
1 serviço no primeiro mês?
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Clientes
Clientes voltam a fazer pedidos em outra
categoria nas semanas seguintes?
Profissionais
Profissionais continuam interagindo com
clientes e fechando serviços?
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Clientes
Clientes compartilham a experiência e trazem
novos clientes?
Profissionais
Profissionais bem sucedidos indicam seus
colegas?
Estamos focados em criar a melhor experiência para clientes e profissionais; para
isso, medimos a performance de cada etapa do ciclo de vida
Pirate Metrics
Pirate Metrics by Dave McLure @ 500 Startups
Profissionais
O preço das leads (pedidos) está justo e traz
retorno para o profissional?
Profissionais
Conseguimos extrair o máximo valor de cada
profissional?
#2
Neste cenário, qual deve ser o
papel do time de dados?
Se o papel do time de dados é responder a estas perguntas complexas, a abordagem
tradicional não funciona muito bem
1. Coleta dados
2. Gera relatórios
3. Envia para o tomador de decisão
Uma visão tradicional de dados...
Se o papel do time de dados é responder a estas perguntas complexas, a abordagem
tradicional não funciona muito bem
Uma visão tradicional de dados...
1. Coleta dados
2. Gera relatórios
3. Envia para o tomador de decisão
Sentimento de
dono
Impacto no
negócio
Autonomia
Pensamento
fora da caixa
Nosso papel é transformar dados em insights e ações; na prática, partimos de uma
hipótese e participamos de todo o processo de decisão
Data science only matters if data drives action
Jeremy Stanley, VP Data Science @ Instacart
Nosso papel é transformar dados em insights e ações; na prática, partimos de uma
hipótese e participamos de todo o processo de decisão
Hipótese Exploração & Validação Decisão
Time parte de uma hipótese Elabora um plano para validá-la Participam da tomada de decisão
Data science only matters if data drives action
Jeremy Stanley, VP Data Science @ Instacart
Isso significa que o time de dados precisa participar de todas as etapas de
desenvolvimento do produto!
Nosso papel é transformar dados em insights e ações; na prática, partimos de uma
hipótese e participamos de todo o processo de decisão
Hipótese Exploração & Validação Decisão
Time parte de uma hipótese Elabora um plano para validá-la Participam da tomada de decisão
Data science only matters if data drives action
Jeremy Stanley, VP Data Science @ Instacart
Isso significa que o time de dados precisa participar de todas as etapas de
desenvolvimento do produto!Menos reports, mais insights!
Case – Discovery
Time está trabalhando em um novo sistema de avaliações para aumentar a confiança
#3
De 20 a 200 mil pedidos. Como foi
essa evolução?
Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que
o negócio se encontrava
2014 2
Foco
Product-market-fit:
garantir que nosso
produto realmente
resolve uma dor do
mercado
• Setup completo do GA
• Primeira versão do
algoritmo de
distribuição
• Análises focadas em
dados transacionais
Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que
o negócio se encontrava
2014 20152 4
Foco
Product-market-fit:
garantir que nosso
produto realmente
resolve uma dor do
mercado
Foco
Entender a fundo como os
clientes e profissionais
interagem com a
plataforma
• Setup completo do GA
• Primeira versão do
algoritmo de
distribuição
• Análises focadas em
dados transacionais
• Esbarramos nas
limitações do GA, e
seguimos com Snowplow
• Treinamento do time
• Divisão do trabalho em
times
Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que
o negócio se encontrava
2014 2015 20162 4
Foco
Product-market-fit:
garantir que nosso
produto realmente
resolve uma dor do
mercado
Foco
Entender a fundo como os
clientes e profissionais
interagem com a
plataforma
Foco
Ter uma visão completa
do usuário, e
democratizar o acesso
aos dados
• Setup completo do GA
• Primeira versão do
algoritmo de
distribuição
• Análises focadas em
dados transacionais
• Esbarramos nas
limitações do GA, e
seguimos com Snowplow
• Treinamento do time
• Divisão do trabalho em
times
• Divisão do time em
squads
• Dashboards em real-
time em todos os times
• Algoritmos mais
complexos de
distribuição e marketing
7
Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que
o negócio se encontrava
2014 2015 20162 4 7
Foco
Product-market-fit:
garantir que nosso
produto realmente
resolve uma dor do
mercado
Foco
Entender a fundo como os
clientes e profissionais
interagem com a
plataforma
Foco
Ter uma visão completa
do usuário, e
democratizar o acesso
aos dados
• Setup completo do GA
• Primeira versão do
algoritmo de
distribuição
• Análises focadas em
dados transacionais
• Esbarramos nas
limitações do GA, e
seguimos com Snowplow
• Treinamento do time
• Divisão do trabalho em
times
• Divisão do time em
squads
• Dashboards em real-
time em todos os times
• Algoritmos mais
complexos de
distribuição e marketing
Foco
Maximizar os insights de
produto e investir nos
modelos de Data Science
• Modelos de data science
em produção
• Análises mais profundas
servem como “briefing”
para os times
2017-18 10+
#4
Entrando nos detalhes
Web analytics + Data warehousing
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Será que cidades do
interior convertem
menos?
Qual % dos
usuários carrega
em menos de 5s?
Vamos cada vez mais a fundo nas análises para entender o comportamento dos
usuários
Qual é a taxa de
conversão desta
página?
Desktop converte
mais que mobile?
Será que cidades do
interior convertem
menos?
Qual % dos
usuários carrega
em menos de 5s?
Quantos usuários
interagem com o
formulário?
Quanto tempo
demoram?
Quantos tem falhas
na validação?
O comportamento
dos recorrentes é
diferente?
Para responder estas perguntas, precisamos de uma estrutura de web analytics que
permita uma segmentação fina dos dados
Canal
Tipo de
página
Device Teste A/B
Categoria Funil
Load TimeCidade
Segmentação é fundamental!
Novos usuários Recorrentes
Qual é a taxa de conversão do site?
WiFi/3GRecorrente
All data in aggregate is crap
Avinash Kaushik
Na prática, essas distribuições são muito mais complexas…
Qual é a taxa de conversão do site?
Na prática, essas distribuições são muito mais complexas…
Qual é a taxa de conversão do site?
“Na média é 10%”
Trackings geram insights sobre o comportamento de cada usuário e sobre o
comportamento do grupo
Visita
Interação com formulário
2º step
100%
Interação no 2º step
Conversão!
50%
40%
20%
30%
Qual é o comportamento do grupo?
Onde estão ocorrendo
os maiores atritos?
Como o funil evolui ao
longo do tempo?
Trackings geram insights sobre o comportamento de cada usuário e sobre o
comportamento do grupo
Onde estão ocorrendo
os maiores atritos?
Visita
Interação com formulário
2º step
100%
Interação no 2º step
Conversão!
50%
40%
20%
30%
Como o funil evolui ao
longo do tempo?
Qual é o comportamento do grupo?
Sign-up (SEO)
Recebeu pedido
Recebeu avaliação
Baixou app
Comprou plano
Ligação onboarding
E-mail marketing
D+0
D+1
D+5
D+7
D+20
D+20
D+30
Planejar ações de
(re)marketing
Comunicação com
base em eventos
Quais ações fazem
antes de converter?
Mais informações
para time de CS
Qual é o comportamento de um usuário?
Debugging
Estas perguntas complexas acabaram nos fazendo esbarrar em diversas limitações
do Google Analytics, e saímos para buscar alternativas
Difícil segmentar
corretamente os dados
(amostragem)
Sem tracking de formulários Difícil identificar usuários
Cross-device limitado
Dados vivem em “silos”
É difícil integrar com outras
fontes
Difícil aplicar nossa lógica de
negócios
Algumas das limitações do Google Analytics...
Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
Tracking do comportamento dos
usuários no site/app
Armazena as informações brutas em
um data warehouse (Redshift)
Facilita a análise em ferramentas de
BI: Tableau, R, Looker, Python
Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
Tracking do comportamento dos
usuários no site/app
Armazena as informações brutas em
um data warehouse (Redshift)
Facilita a análise em ferramentas de
BI: Tableau, R, Looker, Python
Queremos ser donos dos nossos dados Queremos trackear o usuários na web e no app
Queremos ter uma visão completa do usuário Queremos responder a qualquer pergunta!
Principais objetivos com essa mudança
Decidimos implementar o Snowplow, uma plataforma open-source de product
analytics
Snowplow is an enterprise-strength marketing and product analytics platform
https://github.com/snowplow/snowplow
EC2 EMR Redshift Redshift
Todo esse pipeline roda na Amazon, com pouquíssima necessidade de manutenção!
Nosso data warehouse recebe eventos de diversas fontes diferentes
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
500M eventos
por mês
Nosso data warehouse recebe eventos de diversas fontes diferentes
Apps
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
500M eventos
por mês
Email
Nosso data warehouse recebe eventos de diversas fontes diferentes
Apps
SMS
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
Push
Server-side events
via Snowplow
500M eventos
por mês
Email
Nosso data warehouse recebe eventos de diversas fontes diferentes
Apps
SMS
CRM + Support
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
Push
Server-side events
via Snowplow
Integrações externas
via Stitch
500M eventos
por mês
Email
Nosso data warehouse recebe eventos de diversas fontes diferentes
Apps
SMS
Pagamentos + Base transacional
Sync MySQL -> Redshift
via Amazon DMS
Web
Web/App analytics
via Snowplow
Push
Server-side events
via Snowplow
DATA MODEL
500M eventos
por mês
Email
É nesse processo que consolidamos os
dados em tabelas que são nosso
“single source of truth”
CRM + Support
Conversão de “Categorias” é
consistentemente maior que
“Anúncios” e “Orçamentos”
Gap entre Desktop/Mobile é pequeno
nessa segmentação
…e bem maior aqui!
…outras são péssimas!
Algumas categorias funcionam bem nas
páginas de “Orçamentos”
…esta está caindo!
Enquanto essa categoria está
subindo…
Tableau é excelente para analyses exploratórias - as análises são muito rápidas e
permitem todo o tipo de segmentação/visualização
Bilhões de data points do Redshift
disponíveis para análises drag&drop
Integração com outras fontes de
dados (CSV, Excel, MySQL, etc)
Diversas formas de visualização
dos dados
Flexibilidade para
cálculos/fórmulas customizados
Metabase | Online dashboards
https://github.com/metabase/metabase
#4
Estrutura e perfil do time
Dividimos o time de dados em dois grupos: decision scientists e data scientists
Decision Science
Foco em tomar decisões de negócios com base em dados.
Função parecida com um product manager
Skills
Business + SQL + Excel + Tableau + Programação básica
Perfil
Estagiário/recém-formado em faculdades de exatas
Data Science
Foco em desenvolver sistemas/algoritmos para oferecer
uma melhor experiência
Skills
Business + Modelagem + Programação
Perfil
Mestrado/Doutorado + alguns anos de experiência
Dividimos o time de dados em dois grupos: decision scientists e data scientists
Decision Science
2014-2015 2016+
Time centralizado
Padronizar as decisões de ferramentas e processos para criar
um time unido e com excelente interação com produto
Time dividido em squads multidisciplinares
Ter uma visão completa do usuário, e democratizar o acesso
aos dados
Foco em tomar decisões de negócios com base em dados.
Função parecida com um product manager
Skills
Business + SQL + Excel + Tableau + Programação básica
Perfil
Estagiário/recém-formado em faculdades de exatas
Data Science
Foco em desenvolver sistemas/algoritmos para oferecer
uma melhor experiência
Skills
Business + Modelagem + Programação
Perfil
Mestrado/Doutorado + alguns anos de experiência
Estamos organizados em times multidisciplinares
Alinhamento dos
especialistas a
cada semana
Tech
Produto
Design
Data
Times
multidisciplinares
Focados em OKRs
específicos
Time participa
ativamente de discovery,
analisando o cenário atual
e propondo experimentos
Time participa
ativamente de discovery,
analisando o cenário atual
e propondo experimentos
...e também acompanha
métricas em delivery!
#5
Qual a visão de futuro?
Devemos empoderar cada vez mais outras áreas/pessoas a gerar hipóteses,
explorar dados e tomar decisões de produto
Produto Marketing Tech Customer Support
Decisões focadas na
experiência do cliente e
profissional
Alocação de budget,
escolha dos canais de
marketing, modelo de
atribuição
Tempo de carregamento
das páginas, identificação
de possíveis bugs e
pontos de melhoria
Perfomance do time,
modelo de comissão, lead
scoring para vendas
Data
Construir e manter o pipeline de dados
Fazer a modelagem aplicando a lógica de negócios aos
dados
Oferecer treinamento e coaching Continuar criando e explorando hipóteses
Estruturando time, infra e processos para tomar decisões de
produto mais inteligentes com 10+ bilhões de data points
Bernardo Srulzon
bernardo@getninjas.com.br

Mais conteúdo relacionado

Mais procurados

Ganhos e Desafios no uso do OKR na Gestão Pública
Ganhos e Desafios no uso do OKR na Gestão PúblicaGanhos e Desafios no uso do OKR na Gestão Pública
Ganhos e Desafios no uso do OKR na Gestão PúblicaTeresa Maciel
 
Desprojetizar para Produtizar
Desprojetizar para ProdutizarDesprojetizar para Produtizar
Desprojetizar para ProdutizarGuilherme Santos
 
[Product Camp 2021] Escalando a gestão de produtos internos
[Product Camp 2021] Escalando a gestão de produtos internos[Product Camp 2021] Escalando a gestão de produtos internos
[Product Camp 2021] Escalando a gestão de produtos internosProduct Camp Brasil
 
Introduction to RPA Blue prism Online Training
Introduction to RPA Blue prism Online TrainingIntroduction to RPA Blue prism Online Training
Introduction to RPA Blue prism Online TrainingITJobZone.biz
 
5 w2h apresentação
5 w2h apresentação5 w2h apresentação
5 w2h apresentaçãoellensamara
 
Como o Marketplace potencializa suas vendas, através de seus canais de Market...
Como o Marketplace potencializa suas vendas, através de seus canais de Market...Como o Marketplace potencializa suas vendas, através de seus canais de Market...
Como o Marketplace potencializa suas vendas, através de seus canais de Market...E-Commerce Brasil
 
Product roadmap-guide-by-product plan
Product roadmap-guide-by-product planProduct roadmap-guide-by-product plan
Product roadmap-guide-by-product planLewis Lin 🦊
 
Lean inception: como alinhar pessoas e construir o produto certo
Lean inception: como alinhar pessoas e construir o produto certoLean inception: como alinhar pessoas e construir o produto certo
Lean inception: como alinhar pessoas e construir o produto certoPaulo Caroli
 
Gestao de portfolio o desafio do alinhamento estrategico
Gestao de portfolio o desafio do alinhamento estrategicoGestao de portfolio o desafio do alinhamento estrategico
Gestao de portfolio o desafio do alinhamento estrategicoJose Claudio Terra
 
[Product Stars 2020] Construindo uma visão de produto
[Product Stars 2020] Construindo uma visão de produto[Product Stars 2020] Construindo uma visão de produto
[Product Stars 2020] Construindo uma visão de produtoProduct Camp Brasil
 
Introduction to Presales Consulting and Proposal Authoring
Introduction to Presales Consulting and Proposal AuthoringIntroduction to Presales Consulting and Proposal Authoring
Introduction to Presales Consulting and Proposal AuthoringSowmak Bardhan
 
Inovação & Criatividade
Inovação & CriatividadeInovação & Criatividade
Inovação & CriatividadeAugusto Pinto
 
Agile Portfolio Management Framework With Demand Management
Agile Portfolio Management Framework With Demand ManagementAgile Portfolio Management Framework With Demand Management
Agile Portfolio Management Framework With Demand ManagementSlideTeam
 
[Product Camp 2020] - Plataformização do Cartão de Crédito do Nubank - Jacque...
[Product Camp 2020] - Plataformização do Cartão de Crédito do Nubank - Jacque...[Product Camp 2020] - Plataformização do Cartão de Crédito do Nubank - Jacque...
[Product Camp 2020] - Plataformização do Cartão de Crédito do Nubank - Jacque...Product Camp Brasil
 
Curso sobre Plano de negócios
Curso sobre Plano de negóciosCurso sobre Plano de negócios
Curso sobre Plano de negóciosClick Conhecimento
 

Mais procurados (20)

Scrum com Lego ®
Scrum com Lego ®Scrum com Lego ®
Scrum com Lego ®
 
Treinamento em gestão de projetos
Treinamento em gestão de projetosTreinamento em gestão de projetos
Treinamento em gestão de projetos
 
Pre sale activities
Pre sale activitiesPre sale activities
Pre sale activities
 
Ganhos e Desafios no uso do OKR na Gestão Pública
Ganhos e Desafios no uso do OKR na Gestão PúblicaGanhos e Desafios no uso do OKR na Gestão Pública
Ganhos e Desafios no uso do OKR na Gestão Pública
 
Desprojetizar para Produtizar
Desprojetizar para ProdutizarDesprojetizar para Produtizar
Desprojetizar para Produtizar
 
Webinar - RH Agil
Webinar - RH AgilWebinar - RH Agil
Webinar - RH Agil
 
[Product Camp 2021] Escalando a gestão de produtos internos
[Product Camp 2021] Escalando a gestão de produtos internos[Product Camp 2021] Escalando a gestão de produtos internos
[Product Camp 2021] Escalando a gestão de produtos internos
 
Introduction to RPA Blue prism Online Training
Introduction to RPA Blue prism Online TrainingIntroduction to RPA Blue prism Online Training
Introduction to RPA Blue prism Online Training
 
5 w2h apresentação
5 w2h apresentação5 w2h apresentação
5 w2h apresentação
 
Como o Marketplace potencializa suas vendas, através de seus canais de Market...
Como o Marketplace potencializa suas vendas, através de seus canais de Market...Como o Marketplace potencializa suas vendas, através de seus canais de Market...
Como o Marketplace potencializa suas vendas, através de seus canais de Market...
 
Product roadmap-guide-by-product plan
Product roadmap-guide-by-product planProduct roadmap-guide-by-product plan
Product roadmap-guide-by-product plan
 
Lean inception: como alinhar pessoas e construir o produto certo
Lean inception: como alinhar pessoas e construir o produto certoLean inception: como alinhar pessoas e construir o produto certo
Lean inception: como alinhar pessoas e construir o produto certo
 
Gestao de portfolio o desafio do alinhamento estrategico
Gestao de portfolio o desafio do alinhamento estrategicoGestao de portfolio o desafio do alinhamento estrategico
Gestao de portfolio o desafio do alinhamento estrategico
 
[Product Stars 2020] Construindo uma visão de produto
[Product Stars 2020] Construindo uma visão de produto[Product Stars 2020] Construindo uma visão de produto
[Product Stars 2020] Construindo uma visão de produto
 
Introduction to Presales Consulting and Proposal Authoring
Introduction to Presales Consulting and Proposal AuthoringIntroduction to Presales Consulting and Proposal Authoring
Introduction to Presales Consulting and Proposal Authoring
 
Inovação & Criatividade
Inovação & CriatividadeInovação & Criatividade
Inovação & Criatividade
 
Agile Portfolio Management Framework With Demand Management
Agile Portfolio Management Framework With Demand ManagementAgile Portfolio Management Framework With Demand Management
Agile Portfolio Management Framework With Demand Management
 
[Product Camp 2020] - Plataformização do Cartão de Crédito do Nubank - Jacque...
[Product Camp 2020] - Plataformização do Cartão de Crédito do Nubank - Jacque...[Product Camp 2020] - Plataformização do Cartão de Crédito do Nubank - Jacque...
[Product Camp 2020] - Plataformização do Cartão de Crédito do Nubank - Jacque...
 
Curso sobre Plano de negócios
Curso sobre Plano de negóciosCurso sobre Plano de negócios
Curso sobre Plano de negócios
 
Gestão por Processo
Gestão por ProcessoGestão por Processo
Gestão por Processo
 

Semelhante a Estruturando time, dados e processos para tomar decisões de produto mais inteligentes com 1+ bilhão de data points | Product Camp 2018

[GetNinjas] Business Intelligence Workshop @ Google Campus SP
[GetNinjas] Business Intelligence Workshop @ Google Campus SP[GetNinjas] Business Intelligence Workshop @ Google Campus SP
[GetNinjas] Business Intelligence Workshop @ Google Campus SPBernardo Srulzon
 
AI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDCAI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDCRenan Moreira de Oliveira
 
Web Analytics - Uma Visão Brasileira 2
Web Analytics - Uma Visão Brasileira 2Web Analytics - Uma Visão Brasileira 2
Web Analytics - Uma Visão Brasileira 2Marcelo Azeredo
 
[SGRio2019] Mais Hipóteses e Menos Certezas - viabilizando o diálogo entre ne...
[SGRio2019] Mais Hipóteses e Menos Certezas - viabilizando o diálogo entre ne...[SGRio2019] Mais Hipóteses e Menos Certezas - viabilizando o diálogo entre ne...
[SGRio2019] Mais Hipóteses e Menos Certezas - viabilizando o diálogo entre ne...Flavio Nazario
 
Best2bee Business Model
Best2bee Business ModelBest2bee Business Model
Best2bee Business ModelMiguel Vilaca
 
Agilidade em escala - Agile Brazil 2018
Agilidade em escala  - Agile Brazil 2018Agilidade em escala  - Agile Brazil 2018
Agilidade em escala - Agile Brazil 2018Ewerton Santos (Ton)
 
apresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxapresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxSyllasChaves
 
S2 Business - Institucional - 2013
S2 Business - Institucional - 2013S2 Business - Institucional - 2013
S2 Business - Institucional - 2013Danilo Gallo
 
EDTED Aprenda, ensine e melhores os resultados com seus clientes. Requisito d...
EDTED Aprenda, ensine e melhores os resultados com seus clientes. Requisito d...EDTED Aprenda, ensine e melhores os resultados com seus clientes. Requisito d...
EDTED Aprenda, ensine e melhores os resultados com seus clientes. Requisito d...Fabiano Milani
 
apresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxapresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxssuser5c3c28
 
Como o GetNinjas usa dados para tomar decisões de produto
Como o GetNinjas usa dados para tomar decisões de produtoComo o GetNinjas usa dados para tomar decisões de produto
Como o GetNinjas usa dados para tomar decisões de produtoProduct Camp Brasil
 
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoProjeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoEdileusa Estéfani Prado
 
Destrave o poder do conhecimento através dos dados com Wiseminer
Destrave o poder do conhecimento através dos dados com WiseminerDestrave o poder do conhecimento através dos dados com Wiseminer
Destrave o poder do conhecimento através dos dados com WiseminerLeonardo Couto
 
Definindo métricas para seu produto
Definindo métricas para seu produtoDefinindo métricas para seu produto
Definindo métricas para seu produtoAugusto Rückert
 
Marketing industrial - Tendências e desafios
Marketing industrial - Tendências e desafiosMarketing industrial - Tendências e desafios
Marketing industrial - Tendências e desafiosWill Sertório
 
Mudança é a Nossa Oportunidade
Mudança é a Nossa OportunidadeMudança é a Nossa Oportunidade
Mudança é a Nossa Oportunidadehugonevez
 

Semelhante a Estruturando time, dados e processos para tomar decisões de produto mais inteligentes com 1+ bilhão de data points | Product Camp 2018 (20)

[GetNinjas] Business Intelligence Workshop @ Google Campus SP
[GetNinjas] Business Intelligence Workshop @ Google Campus SP[GetNinjas] Business Intelligence Workshop @ Google Campus SP
[GetNinjas] Business Intelligence Workshop @ Google Campus SP
 
AI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDCAI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDC
 
Web Analytics - Uma Visão Brasileira 2
Web Analytics - Uma Visão Brasileira 2Web Analytics - Uma Visão Brasileira 2
Web Analytics - Uma Visão Brasileira 2
 
Webanalytics uma visao_brasileira_2
Webanalytics uma visao_brasileira_2Webanalytics uma visao_brasileira_2
Webanalytics uma visao_brasileira_2
 
Web Analytics: uma visão brasileira 2
Web Analytics: uma visão brasileira 2Web Analytics: uma visão brasileira 2
Web Analytics: uma visão brasileira 2
 
Web Analytics (SEO) - Uma Visão Brasileira
Web Analytics (SEO) - Uma Visão BrasileiraWeb Analytics (SEO) - Uma Visão Brasileira
Web Analytics (SEO) - Uma Visão Brasileira
 
[SGRio2019] Mais Hipóteses e Menos Certezas - viabilizando o diálogo entre ne...
[SGRio2019] Mais Hipóteses e Menos Certezas - viabilizando o diálogo entre ne...[SGRio2019] Mais Hipóteses e Menos Certezas - viabilizando o diálogo entre ne...
[SGRio2019] Mais Hipóteses e Menos Certezas - viabilizando o diálogo entre ne...
 
Best2bee Business Model
Best2bee Business ModelBest2bee Business Model
Best2bee Business Model
 
Agilidade em escala - Agile Brazil 2018
Agilidade em escala  - Agile Brazil 2018Agilidade em escala  - Agile Brazil 2018
Agilidade em escala - Agile Brazil 2018
 
apresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxapresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptx
 
S2 Business - Institucional - 2013
S2 Business - Institucional - 2013S2 Business - Institucional - 2013
S2 Business - Institucional - 2013
 
EDTED Aprenda, ensine e melhores os resultados com seus clientes. Requisito d...
EDTED Aprenda, ensine e melhores os resultados com seus clientes. Requisito d...EDTED Aprenda, ensine e melhores os resultados com seus clientes. Requisito d...
EDTED Aprenda, ensine e melhores os resultados com seus clientes. Requisito d...
 
apresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptxapresentação de diagnóstico de redes sociais.pptx
apresentação de diagnóstico de redes sociais.pptx
 
Como o GetNinjas usa dados para tomar decisões de produto
Como o GetNinjas usa dados para tomar decisões de produtoComo o GetNinjas usa dados para tomar decisões de produto
Como o GetNinjas usa dados para tomar decisões de produto
 
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoProjeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
 
Destrave o poder do conhecimento através dos dados com Wiseminer
Destrave o poder do conhecimento através dos dados com WiseminerDestrave o poder do conhecimento através dos dados com Wiseminer
Destrave o poder do conhecimento através dos dados com Wiseminer
 
Definindo métricas para seu produto
Definindo métricas para seu produtoDefinindo métricas para seu produto
Definindo métricas para seu produto
 
Marketing industrial - Tendências e desafios
Marketing industrial - Tendências e desafiosMarketing industrial - Tendências e desafios
Marketing industrial - Tendências e desafios
 
FCamara 2016
FCamara 2016FCamara 2016
FCamara 2016
 
Mudança é a Nossa Oportunidade
Mudança é a Nossa OportunidadeMudança é a Nossa Oportunidade
Mudança é a Nossa Oportunidade
 

Mais de Product Camp Brasil

[Product Camp 2021] Produto em saúde: Scale Up e Covid-19: Como a Memed fez e...
[Product Camp 2021] Produto em saúde: Scale Up e Covid-19: Como a Memed fez e...[Product Camp 2021] Produto em saúde: Scale Up e Covid-19: Como a Memed fez e...
[Product Camp 2021] Produto em saúde: Scale Up e Covid-19: Como a Memed fez e...Product Camp Brasil
 
[Product Camp 2021] Product Direction
[Product Camp 2021] Product Direction [Product Camp 2021] Product Direction
[Product Camp 2021] Product Direction Product Camp Brasil
 
[Product Camp 2021] Lições aprendidas de uma transformação digital
[Product Camp 2021] Lições aprendidas de uma transformação digital[Product Camp 2021] Lições aprendidas de uma transformação digital
[Product Camp 2021] Lições aprendidas de uma transformação digitalProduct Camp Brasil
 
[Product Camp 2021] Motivação +: o desafio de desenvolver autoconhecimento, m...
[Product Camp 2021] Motivação +: o desafio de desenvolver autoconhecimento, m...[Product Camp 2021] Motivação +: o desafio de desenvolver autoconhecimento, m...
[Product Camp 2021] Motivação +: o desafio de desenvolver autoconhecimento, m...Product Camp Brasil
 
[Product Camp 2021] PM de produtos que são APIs
[Product Camp 2021] PM de produtos que são APIs[Product Camp 2021] PM de produtos que são APIs
[Product Camp 2021] PM de produtos que são APIsProduct Camp Brasil
 
[Product Camp 2021] Lean Customer Development
[Product Camp 2021] Lean Customer Development[Product Camp 2021] Lean Customer Development
[Product Camp 2021] Lean Customer DevelopmentProduct Camp Brasil
 
[Product Camp 2021] Product Roadmaps Relaunched
[Product Camp 2021] Product Roadmaps Relaunched[Product Camp 2021] Product Roadmaps Relaunched
[Product Camp 2021] Product Roadmaps RelaunchedProduct Camp Brasil
 
[Product Camp 2020] - 7 erros que todo mundo comete em uma pesquisa - E que v...
[Product Camp 2020] - 7 erros que todo mundo comete em uma pesquisa - E que v...[Product Camp 2020] - 7 erros que todo mundo comete em uma pesquisa - E que v...
[Product Camp 2020] - 7 erros que todo mundo comete em uma pesquisa - E que v...Product Camp Brasil
 
[Product Camp 2020] - Produtos Globais - Malu Cantadori | Stripe
[Product Camp 2020] - Produtos Globais - Malu Cantadori | Stripe[Product Camp 2020] - Produtos Globais - Malu Cantadori | Stripe
[Product Camp 2020] - Produtos Globais - Malu Cantadori | StripeProduct Camp Brasil
 
[Product Camp 2020] - Back from Delivery - Renato Cairo | OLX Pay
[Product Camp 2020] - Back from Delivery - Renato Cairo | OLX Pay[Product Camp 2020] - Back from Delivery - Renato Cairo | OLX Pay
[Product Camp 2020] - Back from Delivery - Renato Cairo | OLX PayProduct Camp Brasil
 
[Product Camp 2020] - Como são os times de produto na China - e porquê - Kary...
[Product Camp 2020] - Como são os times de produto na China - e porquê - Kary...[Product Camp 2020] - Como são os times de produto na China - e porquê - Kary...
[Product Camp 2020] - Como são os times de produto na China - e porquê - Kary...Product Camp Brasil
 
[Product Camp 2020] - Se liga na descoberta: um case de produtos internos - A...
[Product Camp 2020] - Se liga na descoberta: um case de produtos internos - A...[Product Camp 2020] - Se liga na descoberta: um case de produtos internos - A...
[Product Camp 2020] - Se liga na descoberta: um case de produtos internos - A...Product Camp Brasil
 
[Product Camp 2020] - Desenvolvendo uma cultura de dados e análises - Zalan L...
[Product Camp 2020] - Desenvolvendo uma cultura de dados e análises - Zalan L...[Product Camp 2020] - Desenvolvendo uma cultura de dados e análises - Zalan L...
[Product Camp 2020] - Desenvolvendo uma cultura de dados e análises - Zalan L...Product Camp Brasil
 
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...Product Camp Brasil
 
[Product Camp 2020] - The future of work: remote culture and fiverr business ...
[Product Camp 2020] - The future of work: remote culture and fiverr business ...[Product Camp 2020] - The future of work: remote culture and fiverr business ...
[Product Camp 2020] - The future of work: remote culture and fiverr business ...Product Camp Brasil
 
[Product Camp 2020] - Product Management Footprint - uma forma de adequar e e...
[Product Camp 2020] - Product Management Footprint - uma forma de adequar e e...[Product Camp 2020] - Product Management Footprint - uma forma de adequar e e...
[Product Camp 2020] - Product Management Footprint - uma forma de adequar e e...Product Camp Brasil
 
[Product Camp 2020] - Como atrair, selecionar e reter PMs fora da curva - Ale...
[Product Camp 2020] - Como atrair, selecionar e reter PMs fora da curva - Ale...[Product Camp 2020] - Como atrair, selecionar e reter PMs fora da curva - Ale...
[Product Camp 2020] - Como atrair, selecionar e reter PMs fora da curva - Ale...Product Camp Brasil
 
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...Product Camp Brasil
 
[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...
[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...
[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...Product Camp Brasil
 
[Product Camp 2020] - Product Market Fit: Como resolvemos um problema real da...
[Product Camp 2020] - Product Market Fit: Como resolvemos um problema real da...[Product Camp 2020] - Product Market Fit: Como resolvemos um problema real da...
[Product Camp 2020] - Product Market Fit: Como resolvemos um problema real da...Product Camp Brasil
 

Mais de Product Camp Brasil (20)

[Product Camp 2021] Produto em saúde: Scale Up e Covid-19: Como a Memed fez e...
[Product Camp 2021] Produto em saúde: Scale Up e Covid-19: Como a Memed fez e...[Product Camp 2021] Produto em saúde: Scale Up e Covid-19: Como a Memed fez e...
[Product Camp 2021] Produto em saúde: Scale Up e Covid-19: Como a Memed fez e...
 
[Product Camp 2021] Product Direction
[Product Camp 2021] Product Direction [Product Camp 2021] Product Direction
[Product Camp 2021] Product Direction
 
[Product Camp 2021] Lições aprendidas de uma transformação digital
[Product Camp 2021] Lições aprendidas de uma transformação digital[Product Camp 2021] Lições aprendidas de uma transformação digital
[Product Camp 2021] Lições aprendidas de uma transformação digital
 
[Product Camp 2021] Motivação +: o desafio de desenvolver autoconhecimento, m...
[Product Camp 2021] Motivação +: o desafio de desenvolver autoconhecimento, m...[Product Camp 2021] Motivação +: o desafio de desenvolver autoconhecimento, m...
[Product Camp 2021] Motivação +: o desafio de desenvolver autoconhecimento, m...
 
[Product Camp 2021] PM de produtos que são APIs
[Product Camp 2021] PM de produtos que são APIs[Product Camp 2021] PM de produtos que são APIs
[Product Camp 2021] PM de produtos que são APIs
 
[Product Camp 2021] Lean Customer Development
[Product Camp 2021] Lean Customer Development[Product Camp 2021] Lean Customer Development
[Product Camp 2021] Lean Customer Development
 
[Product Camp 2021] Product Roadmaps Relaunched
[Product Camp 2021] Product Roadmaps Relaunched[Product Camp 2021] Product Roadmaps Relaunched
[Product Camp 2021] Product Roadmaps Relaunched
 
[Product Camp 2020] - 7 erros que todo mundo comete em uma pesquisa - E que v...
[Product Camp 2020] - 7 erros que todo mundo comete em uma pesquisa - E que v...[Product Camp 2020] - 7 erros que todo mundo comete em uma pesquisa - E que v...
[Product Camp 2020] - 7 erros que todo mundo comete em uma pesquisa - E que v...
 
[Product Camp 2020] - Produtos Globais - Malu Cantadori | Stripe
[Product Camp 2020] - Produtos Globais - Malu Cantadori | Stripe[Product Camp 2020] - Produtos Globais - Malu Cantadori | Stripe
[Product Camp 2020] - Produtos Globais - Malu Cantadori | Stripe
 
[Product Camp 2020] - Back from Delivery - Renato Cairo | OLX Pay
[Product Camp 2020] - Back from Delivery - Renato Cairo | OLX Pay[Product Camp 2020] - Back from Delivery - Renato Cairo | OLX Pay
[Product Camp 2020] - Back from Delivery - Renato Cairo | OLX Pay
 
[Product Camp 2020] - Como são os times de produto na China - e porquê - Kary...
[Product Camp 2020] - Como são os times de produto na China - e porquê - Kary...[Product Camp 2020] - Como são os times de produto na China - e porquê - Kary...
[Product Camp 2020] - Como são os times de produto na China - e porquê - Kary...
 
[Product Camp 2020] - Se liga na descoberta: um case de produtos internos - A...
[Product Camp 2020] - Se liga na descoberta: um case de produtos internos - A...[Product Camp 2020] - Se liga na descoberta: um case de produtos internos - A...
[Product Camp 2020] - Se liga na descoberta: um case de produtos internos - A...
 
[Product Camp 2020] - Desenvolvendo uma cultura de dados e análises - Zalan L...
[Product Camp 2020] - Desenvolvendo uma cultura de dados e análises - Zalan L...[Product Camp 2020] - Desenvolvendo uma cultura de dados e análises - Zalan L...
[Product Camp 2020] - Desenvolvendo uma cultura de dados e análises - Zalan L...
 
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
 
[Product Camp 2020] - The future of work: remote culture and fiverr business ...
[Product Camp 2020] - The future of work: remote culture and fiverr business ...[Product Camp 2020] - The future of work: remote culture and fiverr business ...
[Product Camp 2020] - The future of work: remote culture and fiverr business ...
 
[Product Camp 2020] - Product Management Footprint - uma forma de adequar e e...
[Product Camp 2020] - Product Management Footprint - uma forma de adequar e e...[Product Camp 2020] - Product Management Footprint - uma forma de adequar e e...
[Product Camp 2020] - Product Management Footprint - uma forma de adequar e e...
 
[Product Camp 2020] - Como atrair, selecionar e reter PMs fora da curva - Ale...
[Product Camp 2020] - Como atrair, selecionar e reter PMs fora da curva - Ale...[Product Camp 2020] - Como atrair, selecionar e reter PMs fora da curva - Ale...
[Product Camp 2020] - Como atrair, selecionar e reter PMs fora da curva - Ale...
 
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
[Product Camp 2020] - A cultura da narrativa escrita para criar produtos cent...
 
[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...
[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...
[Product Camp 2020] - Not Managing Stakeholders and How to have a relationshi...
 
[Product Camp 2020] - Product Market Fit: Como resolvemos um problema real da...
[Product Camp 2020] - Product Market Fit: Como resolvemos um problema real da...[Product Camp 2020] - Product Market Fit: Como resolvemos um problema real da...
[Product Camp 2020] - Product Market Fit: Como resolvemos um problema real da...
 

Estruturando time, dados e processos para tomar decisões de produto mais inteligentes com 1+ bilhão de data points | Product Camp 2018

  • 1. Estruturando time, infra e processos para tomar decisões de produto mais inteligentes com 10+ bilhões de data points Bernardo Srulzon bernardo@getninjas.com.br
  • 2. Somos a maior plataforma de contratação de serviços do Brasil!
  • 3. COMO FUNCIONA? 1 Conte qual tipo de serviço você precisa 2 Indicamos até 3 profissionais na sua região 3 Contrate o professional e seja bem atendido
  • 4. OVERVIEW 2.000.000 serviços solicitados por ano 500.000 profissionais cadastrados R$300M em transações realizadas por ano 200 categorias, de eletricista a professor de inglês
  • 5. O desafio de uma plataforma horizontal Cada ponto é um “Mini GetNinjas”, com 200 categorias 3000 cidades 200 categorias x 600k combinações para as quais devemos manter o balanço entre oferta e demanda
  • 6. BERNARDO SRULZON https://www.linkedin.com/in/bernardosrulzon bernardo@getninjas.com.br • Experiência com um dos primeiros e mais influentes fundos de VC do Brasil, a Monashees Capital • Hoje sou CPO no GetNinjas, mas também indiretamente responsável por Marketing e Dados • Piloto de planador no tempo livre :)
  • 7.
  • 8. Nós caracterizamos dados como a voz dos nossos usuários em escala. Assim, o time de data faz papel de intérprete - utilizamos dados e estatística para entender nossos usuários e traduzir isso em uma voz que pessoas e máquinas podem entender. Nós complementamos esses insights quantitativos com insights qualitativos (ex. entrevistas com usuários) para tomar as melhores decisões possíveis para o negócio e a comunidade de anfitriões e hóspedes
  • 9. #1 Objetivos do negócio O que é sucesso e como saber quando chegamos lá?
  • 10. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Pirate Metrics by Dave McLure @ 500 Startups
  • 11. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Pirate Metrics by Dave McLure @ 500 Startups Clientes/Profissionais Estamos conseguindo manter o equilíbrio entre oferta e demanda? Clientes/Profissionais Quais canais de marketing devemos utilizar para gerar liquidez?
  • 12. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Pirate Metrics by Dave McLure @ 500 Startups Clientes Estamos conseguindo indicar bons profissionais? Profissionais Os profissionais conseguem fechar pelo menos 1 serviço no primeiro mês?
  • 13. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Pirate Metrics by Dave McLure @ 500 Startups Clientes Clientes voltam a fazer pedidos em outra categoria nas semanas seguintes? Profissionais Profissionais continuam interagindo com clientes e fechando serviços?
  • 14. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Pirate Metrics by Dave McLure @ 500 Startups Clientes Clientes compartilham a experiência e trazem novos clientes? Profissionais Profissionais bem sucedidos indicam seus colegas?
  • 15. Estamos focados em criar a melhor experiência para clientes e profissionais; para isso, medimos a performance de cada etapa do ciclo de vida Pirate Metrics Pirate Metrics by Dave McLure @ 500 Startups Profissionais O preço das leads (pedidos) está justo e traz retorno para o profissional? Profissionais Conseguimos extrair o máximo valor de cada profissional?
  • 16. #2 Neste cenário, qual deve ser o papel do time de dados?
  • 17. Se o papel do time de dados é responder a estas perguntas complexas, a abordagem tradicional não funciona muito bem 1. Coleta dados 2. Gera relatórios 3. Envia para o tomador de decisão Uma visão tradicional de dados...
  • 18. Se o papel do time de dados é responder a estas perguntas complexas, a abordagem tradicional não funciona muito bem Uma visão tradicional de dados... 1. Coleta dados 2. Gera relatórios 3. Envia para o tomador de decisão Sentimento de dono Impacto no negócio Autonomia Pensamento fora da caixa
  • 19. Nosso papel é transformar dados em insights e ações; na prática, partimos de uma hipótese e participamos de todo o processo de decisão Data science only matters if data drives action Jeremy Stanley, VP Data Science @ Instacart
  • 20. Nosso papel é transformar dados em insights e ações; na prática, partimos de uma hipótese e participamos de todo o processo de decisão Hipótese Exploração & Validação Decisão Time parte de uma hipótese Elabora um plano para validá-la Participam da tomada de decisão Data science only matters if data drives action Jeremy Stanley, VP Data Science @ Instacart Isso significa que o time de dados precisa participar de todas as etapas de desenvolvimento do produto!
  • 21. Nosso papel é transformar dados em insights e ações; na prática, partimos de uma hipótese e participamos de todo o processo de decisão Hipótese Exploração & Validação Decisão Time parte de uma hipótese Elabora um plano para validá-la Participam da tomada de decisão Data science only matters if data drives action Jeremy Stanley, VP Data Science @ Instacart Isso significa que o time de dados precisa participar de todas as etapas de desenvolvimento do produto!Menos reports, mais insights!
  • 22. Case – Discovery Time está trabalhando em um novo sistema de avaliações para aumentar a confiança
  • 23. #3 De 20 a 200 mil pedidos. Como foi essa evolução?
  • 24. Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que o negócio se encontrava 2014 2 Foco Product-market-fit: garantir que nosso produto realmente resolve uma dor do mercado • Setup completo do GA • Primeira versão do algoritmo de distribuição • Análises focadas em dados transacionais
  • 25. Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que o negócio se encontrava 2014 20152 4 Foco Product-market-fit: garantir que nosso produto realmente resolve uma dor do mercado Foco Entender a fundo como os clientes e profissionais interagem com a plataforma • Setup completo do GA • Primeira versão do algoritmo de distribuição • Análises focadas em dados transacionais • Esbarramos nas limitações do GA, e seguimos com Snowplow • Treinamento do time • Divisão do trabalho em times
  • 26. Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que o negócio se encontrava 2014 2015 20162 4 Foco Product-market-fit: garantir que nosso produto realmente resolve uma dor do mercado Foco Entender a fundo como os clientes e profissionais interagem com a plataforma Foco Ter uma visão completa do usuário, e democratizar o acesso aos dados • Setup completo do GA • Primeira versão do algoritmo de distribuição • Análises focadas em dados transacionais • Esbarramos nas limitações do GA, e seguimos com Snowplow • Treinamento do time • Divisão do trabalho em times • Divisão do time em squads • Dashboards em real- time em todos os times • Algoritmos mais complexos de distribuição e marketing 7
  • 27. Nos últimos anos, evoluímos nosso foco e estrutura para refletir o momento em que o negócio se encontrava 2014 2015 20162 4 7 Foco Product-market-fit: garantir que nosso produto realmente resolve uma dor do mercado Foco Entender a fundo como os clientes e profissionais interagem com a plataforma Foco Ter uma visão completa do usuário, e democratizar o acesso aos dados • Setup completo do GA • Primeira versão do algoritmo de distribuição • Análises focadas em dados transacionais • Esbarramos nas limitações do GA, e seguimos com Snowplow • Treinamento do time • Divisão do trabalho em times • Divisão do time em squads • Dashboards em real- time em todos os times • Algoritmos mais complexos de distribuição e marketing Foco Maximizar os insights de produto e investir nos modelos de Data Science • Modelos de data science em produção • Análises mais profundas servem como “briefing” para os times 2017-18 10+
  • 28. #4 Entrando nos detalhes Web analytics + Data warehousing
  • 29. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários
  • 30. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Qual é a taxa de conversão desta página? Desktop converte mais que mobile? Será que cidades do interior convertem menos? Qual % dos usuários carrega em menos de 5s?
  • 31. Vamos cada vez mais a fundo nas análises para entender o comportamento dos usuários Qual é a taxa de conversão desta página? Desktop converte mais que mobile? Será que cidades do interior convertem menos? Qual % dos usuários carrega em menos de 5s? Quantos usuários interagem com o formulário? Quanto tempo demoram? Quantos tem falhas na validação? O comportamento dos recorrentes é diferente?
  • 32. Para responder estas perguntas, precisamos de uma estrutura de web analytics que permita uma segmentação fina dos dados Canal Tipo de página Device Teste A/B Categoria Funil Load TimeCidade Segmentação é fundamental! Novos usuários Recorrentes Qual é a taxa de conversão do site? WiFi/3GRecorrente All data in aggregate is crap Avinash Kaushik
  • 33. Na prática, essas distribuições são muito mais complexas… Qual é a taxa de conversão do site?
  • 34. Na prática, essas distribuições são muito mais complexas… Qual é a taxa de conversão do site? “Na média é 10%”
  • 35. Trackings geram insights sobre o comportamento de cada usuário e sobre o comportamento do grupo Visita Interação com formulário 2º step 100% Interação no 2º step Conversão! 50% 40% 20% 30% Qual é o comportamento do grupo? Onde estão ocorrendo os maiores atritos? Como o funil evolui ao longo do tempo?
  • 36. Trackings geram insights sobre o comportamento de cada usuário e sobre o comportamento do grupo Onde estão ocorrendo os maiores atritos? Visita Interação com formulário 2º step 100% Interação no 2º step Conversão! 50% 40% 20% 30% Como o funil evolui ao longo do tempo? Qual é o comportamento do grupo? Sign-up (SEO) Recebeu pedido Recebeu avaliação Baixou app Comprou plano Ligação onboarding E-mail marketing D+0 D+1 D+5 D+7 D+20 D+20 D+30 Planejar ações de (re)marketing Comunicação com base em eventos Quais ações fazem antes de converter? Mais informações para time de CS Qual é o comportamento de um usuário? Debugging
  • 37. Estas perguntas complexas acabaram nos fazendo esbarrar em diversas limitações do Google Analytics, e saímos para buscar alternativas Difícil segmentar corretamente os dados (amostragem) Sem tracking de formulários Difícil identificar usuários Cross-device limitado Dados vivem em “silos” É difícil integrar com outras fontes Difícil aplicar nossa lógica de negócios Algumas das limitações do Google Analytics...
  • 38. Decidimos implementar o Snowplow, uma plataforma open-source de product analytics Snowplow is an enterprise-strength marketing and product analytics platform https://github.com/snowplow/snowplow Tracking do comportamento dos usuários no site/app Armazena as informações brutas em um data warehouse (Redshift) Facilita a análise em ferramentas de BI: Tableau, R, Looker, Python
  • 39. Decidimos implementar o Snowplow, uma plataforma open-source de product analytics Snowplow is an enterprise-strength marketing and product analytics platform https://github.com/snowplow/snowplow Tracking do comportamento dos usuários no site/app Armazena as informações brutas em um data warehouse (Redshift) Facilita a análise em ferramentas de BI: Tableau, R, Looker, Python Queremos ser donos dos nossos dados Queremos trackear o usuários na web e no app Queremos ter uma visão completa do usuário Queremos responder a qualquer pergunta! Principais objetivos com essa mudança
  • 40. Decidimos implementar o Snowplow, uma plataforma open-source de product analytics Snowplow is an enterprise-strength marketing and product analytics platform https://github.com/snowplow/snowplow EC2 EMR Redshift Redshift Todo esse pipeline roda na Amazon, com pouquíssima necessidade de manutenção!
  • 41. Nosso data warehouse recebe eventos de diversas fontes diferentes Pagamentos + Base transacional Sync MySQL -> Redshift via Amazon DMS 500M eventos por mês
  • 42. Nosso data warehouse recebe eventos de diversas fontes diferentes Apps Pagamentos + Base transacional Sync MySQL -> Redshift via Amazon DMS Web Web/App analytics via Snowplow 500M eventos por mês Email
  • 43. Nosso data warehouse recebe eventos de diversas fontes diferentes Apps SMS Pagamentos + Base transacional Sync MySQL -> Redshift via Amazon DMS Web Web/App analytics via Snowplow Push Server-side events via Snowplow 500M eventos por mês Email
  • 44. Nosso data warehouse recebe eventos de diversas fontes diferentes Apps SMS CRM + Support Pagamentos + Base transacional Sync MySQL -> Redshift via Amazon DMS Web Web/App analytics via Snowplow Push Server-side events via Snowplow Integrações externas via Stitch 500M eventos por mês Email
  • 45. Nosso data warehouse recebe eventos de diversas fontes diferentes Apps SMS Pagamentos + Base transacional Sync MySQL -> Redshift via Amazon DMS Web Web/App analytics via Snowplow Push Server-side events via Snowplow DATA MODEL 500M eventos por mês Email É nesse processo que consolidamos os dados em tabelas que são nosso “single source of truth” CRM + Support
  • 46.
  • 47.
  • 48. Conversão de “Categorias” é consistentemente maior que “Anúncios” e “Orçamentos”
  • 49. Gap entre Desktop/Mobile é pequeno nessa segmentação …e bem maior aqui!
  • 50. …outras são péssimas! Algumas categorias funcionam bem nas páginas de “Orçamentos”
  • 51. …esta está caindo! Enquanto essa categoria está subindo…
  • 52. Tableau é excelente para analyses exploratórias - as análises são muito rápidas e permitem todo o tipo de segmentação/visualização Bilhões de data points do Redshift disponíveis para análises drag&drop Integração com outras fontes de dados (CSV, Excel, MySQL, etc) Diversas formas de visualização dos dados Flexibilidade para cálculos/fórmulas customizados
  • 53. Metabase | Online dashboards https://github.com/metabase/metabase
  • 55. Dividimos o time de dados em dois grupos: decision scientists e data scientists Decision Science Foco em tomar decisões de negócios com base em dados. Função parecida com um product manager Skills Business + SQL + Excel + Tableau + Programação básica Perfil Estagiário/recém-formado em faculdades de exatas Data Science Foco em desenvolver sistemas/algoritmos para oferecer uma melhor experiência Skills Business + Modelagem + Programação Perfil Mestrado/Doutorado + alguns anos de experiência
  • 56. Dividimos o time de dados em dois grupos: decision scientists e data scientists Decision Science 2014-2015 2016+ Time centralizado Padronizar as decisões de ferramentas e processos para criar um time unido e com excelente interação com produto Time dividido em squads multidisciplinares Ter uma visão completa do usuário, e democratizar o acesso aos dados Foco em tomar decisões de negócios com base em dados. Função parecida com um product manager Skills Business + SQL + Excel + Tableau + Programação básica Perfil Estagiário/recém-formado em faculdades de exatas Data Science Foco em desenvolver sistemas/algoritmos para oferecer uma melhor experiência Skills Business + Modelagem + Programação Perfil Mestrado/Doutorado + alguns anos de experiência
  • 57. Estamos organizados em times multidisciplinares Alinhamento dos especialistas a cada semana Tech Produto Design Data Times multidisciplinares Focados em OKRs específicos
  • 58. Time participa ativamente de discovery, analisando o cenário atual e propondo experimentos
  • 59. Time participa ativamente de discovery, analisando o cenário atual e propondo experimentos ...e também acompanha métricas em delivery!
  • 60. #5 Qual a visão de futuro?
  • 61. Devemos empoderar cada vez mais outras áreas/pessoas a gerar hipóteses, explorar dados e tomar decisões de produto Produto Marketing Tech Customer Support Decisões focadas na experiência do cliente e profissional Alocação de budget, escolha dos canais de marketing, modelo de atribuição Tempo de carregamento das páginas, identificação de possíveis bugs e pontos de melhoria Perfomance do time, modelo de comissão, lead scoring para vendas Data Construir e manter o pipeline de dados Fazer a modelagem aplicando a lógica de negócios aos dados Oferecer treinamento e coaching Continuar criando e explorando hipóteses
  • 62. Estruturando time, infra e processos para tomar decisões de produto mais inteligentes com 10+ bilhões de data points Bernardo Srulzon bernardo@getninjas.com.br