Pare de chamar tudo de KPI e foque nos objetivos do negócio

PARE DE CHAMAR
TUDO DE KPI
Felipe Proto – TDC 2017

Felipe Proto
Gerente de BI na iProspect
No mercado de inteligência
digital desde 2009
Trabalhando com métricas
desde 2005
felipe@proto.com.br

Esta não é uma palestra
sobre Data Science
Esta é uma palestra sobre administração
disfarçada de Data Science
3

Por que estamos aqui
Uma sequencia improvável de eventos

Todos nós já nos
deparamos com a
mesma frase,
proferida sempre pelo
mesmo tipo de
pessoa

“Preciso que esse seu relatório traga
bons insights para nosso próximo
semestre. Precisamos de um
guidance que realmente alavanque
nossos resultados.
-- um(a) chato(a) qualquer

E quando isso
acontece, nossa
cabeça entra
imediatamente em
um modo diferente

“Preciso que esse seu relatório traga
bons insights para nosso próximo
semestre. Precisamos de um
guidance que realmente alavanque
nossos resultados.

O problema é que isso vem de um
conceito errôneo:
“Acionando a Data Science, meu negócio
vai crescer”

A crença parece ser
que é só adicionar um
pedal – qualquer
pedal – e o carro
andará

Mas nós sabemos que ciência é feita de
mais do que isso.

“A hypothesis or theory is clear,
decisive, and positive, but it is believed
by no one but the man who created it.
Experimental findings, on the other
hand, are messy, inexact things, which
are believed by everyone except the
man who did that work.
12
Harlow Shapley

Só para manter uma analogia automotiva,
buscamos um jeito de exemplificar....

O que queremos dizer é que não estamos
aqui para gerar insights, e sim
conhecimento, útil e de longo prazo...

Dados Análise Conhecimento Insights
Relatório

Mas não temos como falar em
infográficos.
Então o que sai da boca é...

“
Ciência não é feita com relatórios.
– todo analista, pelo menos uma vez

E com isso o seu
chefe está
questionando a vida,
o universo e o seu
emprego.

Mas podemos corrigir isso!
Só temos que oferecer a ele a noção de
que o relatório deverá mostrar o que ele
precisa!
O conhecimento nós geraremos depois.

“Me diga quais números que você
acredita serem importantes para o
relatório periódico. Quando houver
algo de diferente, eu investigo e te
trago insights
– todo analista, nervoso, pelo
menos uma vez

E o chefe começa a listar as métricas que
ele acha importantes...

Vendas
Investimento em
mídia
Nº de vendas Visitas
Valor vendido Ticket Médio
Taxa de conversão
Páginas por visita
ImpressõesCliquesCTRROI
Fontes de Tráfego Modelo de atribuição
Visitas retornantes
CLVInfluência social

E criamos o relatório.
E ele fica lindo e cheio
de gráficos (de pizza).
E o chefe está feliz.

Até o segundo relatório, quando ele diz:

“E os insights, por que não estão
aqui?
-- um(a) chato(a) qualquer

Mas por que isso
aconteceu?
Como eu, cientista de dados, fiquei preso a
um bando de gráficos que sequer
representam a realidade?
27

Este não é um problema
de Data Science
Este é um problema de administração
disfarçado de Data Science
28

Temos três problemas distintos nessa
situação:
• Crença em insights como uma necessidade
contínua
• Mistura entre criação de ciência e reporte
• Descolamento entre objetivos do negócio e a
análise de dados

Crença em insights como uma
necessidade contínua
ou “quero saber exatamente todas as oportunidades que
deixarei passar”

Insights dividem-se em dois grupos:
▸ Insights táticos
▸ Insights Estratégicos

Insights táticos são obtidos através de
pequenas análises
Mudanças na operação do dia-a-dia que
permitem uma melhoria em um dado
processo

Visitas
Produto no
Carrinho
Venda
Produtos de menor custo convertem
mais frequentemente

Insights estratégicos mudam a maneira
como olhamos para o processo como um
todo, e mudam a operação da empresa

Visitas
Produto no
Carrinho
Venda
Maior parte das pessoas desiste após
ver o frete

Maior parte das pessoas desiste após
ver o frete
Teste: Apresentar tempo
de frete antes do valor do
mesmo
Teste: oferecer tipos
diferentes de frete
Teste: apresentar valor do
frete antes do tempo
Teste: oferecer frete grátis
para produtos sem
desconto (memso TCO)

Para isso funcionar, empresas precisam
ser adeptas da melhoria contínua. Poucas
querem, menos ainda são.

Com isso, mudanças viram projetos. E
projetos precisam ser levados a sério:
▸ Prazo
▸ Escopo
▸ Comprometimento
▸ Orçamento
▸ Responsáveis
▸ Análise de impacto

Prática
Geração de
resultados
Estudo de
dados
Insights
Plano de
mudança
Melhoria

Prática
Geração de
resultados
Insights
“Regra do
80/20”
Falta de
interesse
“O custo está
maior do que o
esperado”

“[…] discussions of analytics
projects risk devolving into
debates about time and cost.
Unfortunately, time and cost
discussions often obscure
unintended trade-offs in analytic
quality
41
Roger M. Stein, MIT Sloan

Poucos gestores estão prontos para
admitir que o profissional de ciência de
dados que ele contratou não vai aumentar
o seu ROI de maneira contínua.

Menos gestores ainda percebem o quão
profundamente seus analistas mergulham
no funcionamento da empresa como um
todo

Pois poucos gestores compreendem uma
realidade sobre ciência de dados:
Não se faz ciência com reportes...
...pois não há respostas fáceis

Mistura entre criação de ciência
e reporte
ou “por que neste mês não tivemos nenhum insight?”

Outro pecado cometido por gestores é
acreditar que aprendemos coisas novas,
holísticas e importantes a cada novo
relatório

É muito fácil esquecer que
precisamos de uma visão
mais alta

Mas o que querem de nós é
a previsão do futuro, são as
regras que regem o
universo

Perguntaram-
me qual era o
melhor post do
mês

E eu levei três dias para responder

𝑄 =
𝑥2 + 𝑦2
9
𝑥 −
𝑥2 + 𝑦2
2
2
2
+ 𝑦 −
𝑥2 + 𝑦2
2
2
2

Mas isso não nasceu de observar um
relatório.
Nem estava a análise completa

𝐿𝑖𝑚 =
1
𝑛
∗ ෍
𝑖=1
𝑛
𝑥𝑖 ±
σ 𝑥 − ҧ𝑥 2
𝑛 − 1

E mais três dias para provar que o conceito
era sólido.
Para, no final, eu estar errado.

Descolamento entre objetivos do
negócio e a análise de dados
ou “onde está o indicador de sucesso final?”

O maior problema de todos é que é comum
perdermos a visão do que é importante
para o negócio

Em uma enxurrada de
métricas, é fácil querermos
parecer operadores da
Bolsa

E esquecermos daquilo que realmente
importa

Minha equação, por melhor que fosse
matematicamente, respondia a pergunta
errada

“Qual o melhor post do mês?”
É a pergunta errada

“O que fazemos para produzir conteúdo
melhor?”
É a pergunta correta

E aquela equação é só o começo de uma
resposta.

Por que eu não tinha visão dos objetivos

Catando os pedaços
ou “e o que fazemos?”

A resposta é a mais simples possível:
Escreva os objetivos

Objetivos de Negócio
Métricas de Negócio

Objetivos de Negócio
Métricas de Sucesso do Negócio
Objetivos de Aprendizado
Métricas de Monitoramento

Objetivos de
Negócio
Métricas de Sucesso
do Negócio
Objetivos de
Processo
do Processo
Objetivos de
Departamento
do Departamento
Data
Science

Objetivos de
Negócio
Meta do Negócio
Indicadores de
Performance
Indicador de
Meta
META KGI
KPIs

Objetivos de
Negócio
Meta do Negócio
Indicadores de
Performance
Indicador de
Meta
$XXXX
Economia
em MídiaAumentar a
Lucratividade da
Agencia
$$$
∆CPM ∆CPV

Indicadores de
Performance
Indicador de
Meta
$XXXX
Economia
em Mídia
∆CPM ∆CPV
Data Science
Variação de
veículo?
Interferência
sazonal?
Qualidade do
Vídeo?
Temas atuais?
Horário de
anuncio?
Investimento
concorrentes?
Modelo de
remuneração?
Modelo de
remuneração?
Reprodutibilida
de?

“Two roads diverged in a yellow wood,
And sorry I could not travel both
And be one traveler, long I stood
And looked down one as far as I could
To where it bent in the undergrowth;

“Then took the other, as just as fair,
And having perhaps the better claim,
Because it was grassy and wanted wear;
Though as for that the passing there
Had worn them really about the same,

“And both that morning equally lay
In leaves no step had trodden black.
Oh, I kept the first for another day!
Yet knowing how way leads on to way,
I doubted if I should ever come back.

“I shall be telling this with a sigh
Somewhere ages and ages hence:
Two roads diverged in a wood, and I—
I took the one less traveled by,
And that has made all the difference.
Robert Frost – The Road Less Travelled

Obrigado!
Perguntas? Traumas?
felipe@proto.com.br
@nerdmor

Leitura posterior
The Balanced Scorecard
por Robert Steven Kaplan e David P. Norton
5 tips for embracing open data science in the enterprise
por Alice LaPlante
https://www.oreilly.com/ideas/5-tips-for-embracing-open-data-science-in-the-enterprise

Créditos
Vetor de rabisco:
• Por Starline
• http://www.freepik.com/free-vector/set-of-hand-drawn-ink-pen-scribbles_1177190.htm
Vídeo do Panda
• Por Panda Cheese
• https://www.youtube.com/watch?v=t9mxon4txFQ
Office Space, Sherlock, Mad Max e Trump são marcas pertencentes a seus respectivos donos.
Why Managing Data Scientists Is Different
Por Roger M. Stein
• http://sloanreview.mit.edu/article/why-managing-data-scientists-is-different/

Pare de chamar tudo de KPI e foque nos objetivos do negócio

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (12)

Semelhante a Pare de chamar tudo de KPI e foque nos objetivos do negócio

Semelhante a Pare de chamar tudo de KPI e foque nos objetivos do negócio (20)

Mais de tdc-globalcode

Mais de tdc-globalcode (20)

Último

Último (20)

Pare de chamar tudo de KPI e foque nos objetivos do negócio