Modelagem e Análise de Dados em PPC - Search Masters Brasil 2013

508 visualizações

Publicada em

Aplicando matemática, estatistica e inteligência na gestão de campanhas de performance

0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
508
No SlideShare
0
A partir de incorporações
0
Número de incorporações
16
Ações
Compartilhamentos
0
Downloads
5
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Modelagem e Análise de Dados em PPC - Search Masters Brasil 2013

  1. 1. Modelagem  e  Análise  de  Dados  em  PPC   Aplicando  matemá5ca,  esta7s5ca  e  inteligência  na  gestão  de   campanhas  de  performance     Leonardo  Naressi   @LeoNaressi  
  2. 2. Vamos  começar...   •  Leonardo  Naressi   –  CIO  da  dp6   –  Presidente  do  Comitê  de  Digital   Analy5cs  da  IAB  Brasil   –  Professor  na  ESPM  São  Paulo   –  @LeoNaressi   –  Linkedin.com/in/LeoNaressi   –  facebook.com/LeoNaressi   –  Leo@dp6.com.br   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  3. 3. POR  QUE  MODELAR?   #1   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  4. 4. Modelar?   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  5. 5. Não,  modelar!   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  6. 6. @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  7. 7. Quando  enxergamos  a  montanha  de  dados  e   métricas,  buscamos  encontrar  mo5vos  e  razões   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  8. 8. O  que  os  dados  e  métricas  gerais  nos  mostram  é   só  a  ponta  do  iceberg   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  9. 9. Precisamos  estudar  e  modelar  o  que  não  está   explícito   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  10. 10. E  aí  precisamos  esmiuçar,  aprofundar  e   enriquecer  nossos  dados   @LeoNaressi  /  @_dp6  /  www.dp6.com.br     Qual  era  o  cenário   compe55vo  nessas   veiculações?   O  concorrente  anunciou   preços  mais  baixos?   Meus  anúncios   mencionavam   parcelamento?   Meu  anúncio   citavam  minha   marca?   Executei  outras   campanhas  em   paralelo?  
  11. 11. Coloquem  seus  óculos...   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  12. 12. OK!  Ready!   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  13. 13. Nossa  boa  e  velha  amiga,  a  planilha!   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  14. 14. É  na  planilha  que  iremos  reunir  as  engrenagens   necessárias...   Dados  de  Campanhas   Dados  de   Concorrência   Classificações   cria5vas   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  15. 15. Montando  as  engrenagens,  conseguimos   modelar  o  motor  das  nossas  campanhas   Entender  a   relação  entre   o  anúncio  e  o   público   Capturar  a   influência  das   ações  do   mercado  e  da   concorrência   Avaliar  o   impacto  de   mudanças  no   cenário   Prever  o   futuro  de   novas   situações   semelhantes   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  16. 16. ENCONTRANDO  CORRELAÇÕES   #2   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  17. 17. Imagine  o  cenário  de  uma  campanha  de  LP  que   leve  para  um  landing  page  de  conversão   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  18. 18. Mas,  planejou-­‐se  para  a  campanha  um  reforço   em  mídia  display   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  19. 19. Os  dados:   @LeoNaressi  /  @_dp6  /  www.dp6.com.br     0   50   100   150   200   250   300   350   400   0   5,000   10,000   15,000   20,000   25,000   30,000   1   2   3   4   5   6   7   8   9   10   Impressões  banner   Impressões   Links  patrocinados   Conversão  
  20. 20. As  perguntas  são:   @LeoNaressi  /  @_dp6  /  www.dp6.com.br     Qual  o  impacto  do  meu   inves5mento  em  display   nas  minhas  buscas?   A  campanha  display   impactou  significa5vamente   nas  conversões  finais?   Se  eu  inves5r  mais  em   display  terei  resultados   melhores  em  LP?  
  21. 21. A  solucioná5ca:   @LeoNaressi  /  @_dp6  /  www.dp6.com.br     Dados  utilizados   Dias   Impressões     banner   Impressões   LP   Conversão   1   0   10.209   125   2   0   13.656   100   3   0   13.564   134   4   0   13.399   135   5   0   10.066   100   6   26.429   14.066   185   7   25.736   15.998   152   8   29.739   14.251   147   9   27.116   17.308   187   10   23.910   14.743   154   Correlação   Banner  x  LP   0,719017   Banner  x  Conversão   0,806832   LP  x  Conversão   0,7165   Coe$iciente  de Correlação  (ρ) Fórmula  utilizada   OU   função  CORREL(Matriz1;Matriz2)    no  Excel
  22. 22. Sim,  há  uma  correlação  forte  entre  o  impacto  das  impressões   display  tanto  no  volume  de  LP  quanto  nas  conversões  finais     @LeoNaressi  /  @_dp6  /  www.dp6.com.br     Valor  de  ρ  (+  ou  -­‐)   Interpretação   0,00   As  duas  variáveis  não  dependem  linearmente  uma  da  outra   (instigar  outros  meios)   0,00  <  ρ  <  0,19   Correlação  bem  fraca   0,20  <  ρ  <  0,39   Correlação  fraca   0,40  <  ρ  <  0,69   Correlação  moderada   0,70  <  ρ  <  0,89   Correlação  forte   0,90  <  ρ  <  1,00   Correlação  bem  forte   1,00   Correlação  perfeita  positiva  entre  as  duas  variáveis   -­‐1,00   Correlação  negativa  perfeita  entre  as  duas  variáveis     (se  uma  aumenta,  a  outra  sempre  diminui)  
  23. 23. ANÁLISE  MULTIVARIADA   #3   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  24. 24. Caso  prá5co:  O5mização  de  Anúncios   •  Temos  15  anúncios  para  nossa  campanha  e  cada  aplica  conceitos  diferentes   –  Cita  a  Marca  ou  outras  marcas  de  fabricantes   –  Menciona  preço  ou  não   –  Aborda  benejcios  como  cobertura  ou  atendimento   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  25. 25. Vejamos  os  dados-­‐padrão   •  Temos  Cliques,  Impressões,  CTR,  CPC,  Posição  média,  CPA,   Conversões     •  O  obje5vo  dessa  análise  era  responder:   –  Que  elementos  dos  anúncios  impactam  minha  conversão  final?   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  26. 26. @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  27. 27. Como  fazemos  isso?   •  Os  aspectos  e  os  elementos  dis5ntos  além  de  suas   abordagens  não  estão  claros   •  Alguns  anúncios  misturam  mais  de  uma  técnica  principal   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  28. 28. Ahá!  Dados  “Dummy”!   •  Criamos  colunas  extras  que  servem  apenas   para  criar  classificações  personalizadas   •  Nelas  pontuamos  a  presença  dos  elementos   que  queremos  analisar   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  29. 29. Com  as  métricas  em  mãos  e  os  dados  dummy,   podemos  começar   •  Agora,  já  podemos  cruzar  a  classificação  dos  anúncios   segundo  suas  caracterís5cas  ou  elementos  com  as  métricas   de  performance   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  30. 30. Coloquem  seus  óculos...   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  31. 31. OK!  Ready!   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  32. 32. Precisamos  de  uma  turbinada  no  Excel...   •  Iremos  u5lizar  o  Add-­‐In  “Data  Analysis  Toolpak”   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  33. 33. Para  realizar  esta  análise,  aplicaremos  a  técnica   de  regressão  mul5variada   •  Escolha  no  “Data  Analysis”  a  técnica  “Regression”   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  34. 34. Configure  a  regressão   •  Input  Y  =  O  resultado  final  que  queremos  analisar,  neste  caso  a  taxa  de  conversão   •  Input  X  =  As  classificações  /  dummies  /  variáveis  que  qualificam  nossos  anúncios   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  35. 35. Voilá!   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  36. 36. WTF?   @LeoNaressi  /  @_dp6  /  www.dp6.com.br     R²  indica  se  o  modelo  criado  ajusta  bem  aos   dados.  Neste  caso:  83%  da  variabilidade  dos   dados  pode  ser  explicado  pela  regressão.   Teste  F:  avalia  se  alguma   das  variáveis  tem  relação   linear  com  o  resultado  (Y)   Neste  caso:  <0,05,  então   sim!  modelo  parece  bom!   P-­‐Value:  avalia  a   probabilidade  da  variável   ser  relevante  para  explicar   o  modelo.  
  37. 37. Temá5ca  voltada  a  Atendimento,  Economia,  além  de  possivelmente  a  citação   da  operadora  são  as  responsáveis  pelas  maiores  taxas  de  conversão   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  38. 38. E  o  que  fazemos  agora?   •  Aprendemos!   •  Avaliamos  os  itens  classificados  com  os  critérios  vencedores  e   criamos  mais  anúncios  com  as  mesmas  abordagens   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  39. 39. ANÁLISE  PREDITIVA   #4   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  40. 40. Criar  um  modelo  nos  permite  ir  além  de   entender  o  presente   •  Regressões  e  outras  técnicas  geram  coeficientes  e  índices  que   podem  ser  aplicados  em  equações  e  sistemas  para  calcular  o   futuro   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  41. 41. Caso:  Regressão  para  Séries  Temporais   •  Obje5vo:  Predizer  o  volume  de  visitas  em  uma  sessão  do  site   @LeoNaressi  /  @_dp6  /  www.dp6.com.br     Podemos  notar  uma  série  temporal   ao  longo  das  semanas,  com  menor   audiência  aos  finais  de  semana   Vamos  encontrar  um  modelo   que  relacione  dias  da  semana,   mês,  ano,  número  da  semana.  
  42. 42. Vamos  ver  a  primeira  regressão   •  Aplicamos  todas  as  variáveis  e  dummies   @LeoNaressi  /  @_dp6  /  www.dp6.com.br     R²  bom!   P-­‐valor  <  0,05,  ou  seja,   pelo  menos  uma  das   variáveis  tem  relação   linear  com  Y   Algumas  variáveis  tem  menor  relação  com   o  resultado  do  modelo  
  43. 43. Refazendo  o  modelo...   •  Tiramos  variáveis  uma-­‐a-­‐uma  até  descobrir  o  modelo  que   tenha  as  melhores  esta7s5cas   @LeoNaressi  /  @_dp6  /  www.dp6.com.br     R²  bom!   P-­‐valor  <  0,05,  ou  seja,   pelo  menos  uma  das   variáveis  tem  relação   linear  com  Y   Valor-­‐p  menor  que  0,05  -­‐>  há  evidências   de  que  a  variável  está  relacionada  com  Y  
  44. 44. Encontramos  um  modelo  para  es5mar  o  volume   de  visitas   •  Basta  usar  a  equação  abaixo  com  variáveis  do  período  que   você  desejar  prever   –  E(Y):  -­‐1.670  +9.437seg  +  8.895ter  +  8.827qua  +  8.193qui  +  6.670sex  +   691sab  +  160mês  +  1.978ano   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  45. 45. CUIDADOS  E  PRECAUÇÕES   #5   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  46. 46. @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  47. 47. Correlação  não  implica  causalidade   •  “Fiz  uma  análise  das  minhas  campanhas  e  percebi  uma   correlação  alta  entre  os  dias  de  menor  conversão  e  o  número   de  gols  do  Corinthians”   –  Não  necessariamente  a  tristeza  ou  alegria  dos  alvinegros  impacta  no   resultado  da  sua  campanha   •  Algumas  variáveis  podem  não  estar  sendo  consideradas   •  Coincidências  e  acasos  acontecem  e  nosso  cérebro  está   preparado  para  enxergar  padrões  até  onde  não  há   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  48. 48. Saiba  avaliar  os  coeficientes  e  iden5ficar  erros   •  Criar  e  interpretar  modelos  exige  uma  razoável  dose  de   conhecimento  esta7s5co  e  matemá5co   •  Alguns  modelos  podem  ser  inconclusivos  ou  insignificantes,   ou  seja,  não  ajudam  a  prever  o  comportamento  ou  a  explicar   os  dados   •  Exercite  a  iden5ficação  dos  erros,  pra5que  a  o5mização  de   modelos,  mas  o  mais  importante:  não  se  precipite  nem  tome   decisões  sem  dados     @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  49. 49. Cuidado  com  o  overfi|ng   •  Modelos  servem  para  representar  um  conjunto  de  dados  e   ajudar  a  prevê-­‐lo  com  certo  grau  de  confiança   •  Mas,  mais  do  que  isso,  é  preciso  saber  que  os  erros   acumulam-­‐se  à  medida  que  nos  distanciamos  dos  dados  reais   •  Criar  modelos  complexos  demais  que  predizem  todos  os   pontos  com  confianças  al7ssimas  pode  levar  a  achar  que  você   tem  todo  o  futuro  previsto  nas  mãos,  mas  na  verdade  quanto   mais  pontual  é  o  seu  chute  mais  fácil  é  errar   •  O  melhor  modelo  não  é  que  o  acerta  mais  para  a  base  atual,   mas  o  que  erra  menos  na  previsões  à  longo  prazo   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  50. 50. Quer  saber  mais?   •  Análise  Mul5variada  de   Dados   –  Edilson  Paulo   –  Luiz  J.  Corrar     –  José  Maria  Dias  Filho   •  Editora  Atlas   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  51. 51. Não  tenham  medo!   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    
  52. 52. Obrigado!   •  Leonardo  Naressi   –  CIO  da  dp6   –  Presidente  do  Comitê  de  Digital   Analy5cs  da  IAB  Brasil   –  Professor  na  ESPM  São  Paulo   –  @LeoNaressi   –  Linkedin.com/in/LeoNaressi   –  facebook.com/LeoNaressi   –  Leo@dp6.com.br   @LeoNaressi  /  @_dp6  /  www.dp6.com.br    

×