SlideShare uma empresa Scribd logo
1 de 27
Conversion Lift:
Měření inkrementality
pro display a video
Anna Petrová
Analytical Consultant, Google
Korelace vs. kauzalita
Zmrzlina Útoky žraloků
Korelace vs. kauzalita
Více lidí v moři Útoky žralokůHorké počasí
Zmrzlina
Korelace vs. kauzalita
Vaše reklama Konverze
UŽIVATELÉ
Jak vypadá ideální experiment
VIDĚLI VAŠI
REKLAMU
BYLI BY VIDĚLI VAŠI REKLAMU
TYP 1:
Celobarevné
tričko
TYP 2:
Pruhované
tričko
Viděli
reklamu
Viděli by
reklamu
Neviděli
reklamu
NEVIDĚLI VAŠI REKLAMU NEVIDĚLI BY VAŠI REKLAMU
EXPONOVANÍ KONTROLNÍ
Extra Noise: Zero Effect
Alternativa 1: Intent-to-treat (třeba geo-experiment)
UŽIVATELÉ
TYP 1:
Celobarevné
tričko
TYP 2:
Pruhované
tričko
Viděli
reklamu
Neviděli
reklamu
Neznámý
zásah
MOHLI BY REKLAMU VIDĚT NEBO TAKY NENEVIDĚLI VAŠI REKLAMU
VIDĚLI VAŠI
REKLAMU
EXPONOVANÍ KONTROLNÍ
Alternativa 2: jedna kampaň oproti druhé (např. PSA)
Výběrové zkreslení
UŽIVATELÉ
VIDĚLI VAŠI
REKLAMU
VIDĚLI PSANEVIDĚLI PSANEVIDĚLI VAŠI REKLAMU
TYP 1:
Celobarevné
tričko
TYP 2:
Pruhované
tričko
Viděli
reklamu
Neviděli
reklamu
Viděli
PSA
Neviděli
PSA
EXPONOVANÍ KONTROLNÍ
UŽIVATELÉ
Jak vypadá ideální experiment
VIDĚLI VAŠI
REKLAMU
BYLI BY VIDĚLI VAŠI REKLAMU
TYP 1:
Celobarevné
tričko
TYP 2:
Pruhované
tričko
Viděli
reklamu
Viděli by
reklamu
Neviděli
reklamu
NEVIDĚLI VAŠI REKLAMU NEVIDĚLI BY VAŠI REKLAMU
EXPONOVANÍ KONTROLNÍ
Kolik návštěv nebo
konverzí se stalo díky
tomu, že uživatelé viděli
moji reklamu?
Google Conversion Lift měří
inkrementalitu vaší konkrétní
kampaně v AdWords.
jak test funguje?
Další reklama
v aukci
Kontrolní skupina
Ti, kdo by viděli
vaši reklamu
Exponovaná skupina
Ti, kdo viděli
vaši reklamu
Nekonvertovali Konvertovali díky vaší reklamě Konvertovali nezávisle na vaší reklamě
Jak funguje Conversion lift?
požadavky testu
Co je pro Conversion lift potřeba?
Požadavky na kampaňTechnické požadavky
Účet potřebuje 125 konverzí (po kliku a
po zhlédnutí) v posledních 7 dnech
před experimentem.
Měřená kampaň musí vygenerovat
alespoň 500 konverzí v průběhu
experimentu (28 dní)
Kampaň musí mít v prvních 14 dnech
dostatečný budget tak, aby získala asi
1.5 milionu impresí.
Test běží 28 dní.
Display nebo video kampaň v AdWords
Použití AdWords konverzního pixelu.
Použití AdWords remarketingového
pixelu na webu pro měření návštěv.
Nesmí souběžně běžet Brand lift.
Jak dlouho test trvá?
1 týden
2 měsíce
trvání:
Design
testu &
hypotéza
Nastavení &
optimalizace
kampaně
Průběh
testu
Report
1 týden 2 týdny 4 týdny
nejdůležitější fáze experimentu
pro jaké kampaně se Conversion lift
hodí?
Pro jaké kampaně se Conversion lift hodí?
Your ad Your ad
Video
kampaně
zaměřené
na výkon
Display kampaně,
které je těžší
vyhodnotit last
click atribucí
a jak vypadá výsledek?
Proprietary + Confidential
Conversion Lift - Experiment details
DE_CPA_Retargeting_Abandoned_Conversion,
DE_CPA_Retargeting_SaleView,
DE_CPA_Retargeting_General_Abandoned
£9,918.84
70% exposed / 30% would’ve been exposed
Rescaled to allow 50/50 comparison
Test
Campaign(s)
Test
Period
Test
Spend
Test/Control
Ratio
Total Exposed
Users
January 20, 2017 - February 16, 2017
Treatment: 324,339
Control: 126,317
Proprietary + Confidential
Executive Summary
+5.4% lift in Site visitors
+3.8% lift in Page Views
+9.8% lift in Converted users
+8.3% lift in Conversions
Conversion Lift
Numbers in green are statistically significant at a 90% confidence interval
Proprietary + Confidential
Conversions highlights
All conversion actions included in the AdWords ‘Conversions’ column
Conversion Lift
Relative lift: +9.8%
Absolute lift: +562
Converted users
Relative lift: +8.3%
Absolute lift: +621
AdWords reported conversions: 341
Conversions
Relative lift: +4.3%
Absolute lift: +34,903
AdWords reported value: 50746.0
Conversion value
Numbers in green are statistically significant at a 90% confidence level
Proprietary + Confidential
Site visits highlights
Relative lift: +5.4%
Absolute lift: +7,844
Visitors Pageviews
Relative lift: +3.8%
Absolute lift: +150,239
Conversion Lift
Numbers in green are statistically significant at a 90% confidence level
na co nesmíme zapomenout
Výsledky Conversion Liftu jsou konzervativní
Změřený nárůst
Nedoměřený nárůst
Proč?
Měříme pouze vliv v období experimentu,
ale často pozitivní vliv pokračuje.
Uživatele v kontrolní skupině byli
neúmyslně vystavení vašim reklamám
v jiné síti.
Uživatelé si mažou cookies.
Uživatelé odmítnout sledování cookies
(vidí reklamy, ale nespojí se s konverzí).
Některé kanály nákupu se neměří.
Ti, co by
konvertovali
i bez měřené
kampaně
A také sezónalita, reklamy
v dalších sítích atd.
Dejte si záležet, aby vaše kampaň byla
dobře nastavená a zoptimalizovaná.
Kvalita kreativy může mít velký vliv.
Další vlivy jako sezónalita nebo použití
stejných reklam v dalších kanálech
mohou zkreslit výsledky.
Inkrementalita není dána jen mediálním kanálem
Vaše
reklama
Kvalita vaší kreativy
Kontext
Cílení
Viditelnost
závěr:
Conversion lift je řešení pro
jednorázové měření inkrementality
display a video kampaní, kde klasická
atribuce na kliky nestačí.
děkuji
Anna Petrová

Mais conteúdo relacionado

Destaque

PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Applitools
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at WorkGetSmarter
 
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...DevGAMM Conference
 

Destaque (20)

Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
 
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
 

Conversion Lift: Měření inkrementality pro display a video - Anna Petrová (Google) | PPC OFFLINE #9

  • 1.
  • 2. Conversion Lift: Měření inkrementality pro display a video Anna Petrová Analytical Consultant, Google
  • 4. Korelace vs. kauzalita Více lidí v moři Útoky žralokůHorké počasí Zmrzlina
  • 5. Korelace vs. kauzalita Vaše reklama Konverze
  • 6. UŽIVATELÉ Jak vypadá ideální experiment VIDĚLI VAŠI REKLAMU BYLI BY VIDĚLI VAŠI REKLAMU TYP 1: Celobarevné tričko TYP 2: Pruhované tričko Viděli reklamu Viděli by reklamu Neviděli reklamu NEVIDĚLI VAŠI REKLAMU NEVIDĚLI BY VAŠI REKLAMU EXPONOVANÍ KONTROLNÍ
  • 7. Extra Noise: Zero Effect Alternativa 1: Intent-to-treat (třeba geo-experiment) UŽIVATELÉ TYP 1: Celobarevné tričko TYP 2: Pruhované tričko Viděli reklamu Neviděli reklamu Neznámý zásah MOHLI BY REKLAMU VIDĚT NEBO TAKY NENEVIDĚLI VAŠI REKLAMU VIDĚLI VAŠI REKLAMU EXPONOVANÍ KONTROLNÍ
  • 8. Alternativa 2: jedna kampaň oproti druhé (např. PSA) Výběrové zkreslení UŽIVATELÉ VIDĚLI VAŠI REKLAMU VIDĚLI PSANEVIDĚLI PSANEVIDĚLI VAŠI REKLAMU TYP 1: Celobarevné tričko TYP 2: Pruhované tričko Viděli reklamu Neviděli reklamu Viděli PSA Neviděli PSA EXPONOVANÍ KONTROLNÍ
  • 9. UŽIVATELÉ Jak vypadá ideální experiment VIDĚLI VAŠI REKLAMU BYLI BY VIDĚLI VAŠI REKLAMU TYP 1: Celobarevné tričko TYP 2: Pruhované tričko Viděli reklamu Viděli by reklamu Neviděli reklamu NEVIDĚLI VAŠI REKLAMU NEVIDĚLI BY VAŠI REKLAMU EXPONOVANÍ KONTROLNÍ
  • 10. Kolik návštěv nebo konverzí se stalo díky tomu, že uživatelé viděli moji reklamu? Google Conversion Lift měří inkrementalitu vaší konkrétní kampaně v AdWords.
  • 12. Další reklama v aukci Kontrolní skupina Ti, kdo by viděli vaši reklamu Exponovaná skupina Ti, kdo viděli vaši reklamu Nekonvertovali Konvertovali díky vaší reklamě Konvertovali nezávisle na vaší reklamě Jak funguje Conversion lift?
  • 14. Co je pro Conversion lift potřeba? Požadavky na kampaňTechnické požadavky Účet potřebuje 125 konverzí (po kliku a po zhlédnutí) v posledních 7 dnech před experimentem. Měřená kampaň musí vygenerovat alespoň 500 konverzí v průběhu experimentu (28 dní) Kampaň musí mít v prvních 14 dnech dostatečný budget tak, aby získala asi 1.5 milionu impresí. Test běží 28 dní. Display nebo video kampaň v AdWords Použití AdWords konverzního pixelu. Použití AdWords remarketingového pixelu na webu pro měření návštěv. Nesmí souběžně běžet Brand lift.
  • 15. Jak dlouho test trvá? 1 týden 2 měsíce trvání: Design testu & hypotéza Nastavení & optimalizace kampaně Průběh testu Report 1 týden 2 týdny 4 týdny nejdůležitější fáze experimentu
  • 16. pro jaké kampaně se Conversion lift hodí?
  • 17. Pro jaké kampaně se Conversion lift hodí? Your ad Your ad Video kampaně zaměřené na výkon Display kampaně, které je těžší vyhodnotit last click atribucí
  • 18. a jak vypadá výsledek?
  • 19. Proprietary + Confidential Conversion Lift - Experiment details DE_CPA_Retargeting_Abandoned_Conversion, DE_CPA_Retargeting_SaleView, DE_CPA_Retargeting_General_Abandoned £9,918.84 70% exposed / 30% would’ve been exposed Rescaled to allow 50/50 comparison Test Campaign(s) Test Period Test Spend Test/Control Ratio Total Exposed Users January 20, 2017 - February 16, 2017 Treatment: 324,339 Control: 126,317
  • 20. Proprietary + Confidential Executive Summary +5.4% lift in Site visitors +3.8% lift in Page Views +9.8% lift in Converted users +8.3% lift in Conversions Conversion Lift Numbers in green are statistically significant at a 90% confidence interval
  • 21. Proprietary + Confidential Conversions highlights All conversion actions included in the AdWords ‘Conversions’ column Conversion Lift Relative lift: +9.8% Absolute lift: +562 Converted users Relative lift: +8.3% Absolute lift: +621 AdWords reported conversions: 341 Conversions Relative lift: +4.3% Absolute lift: +34,903 AdWords reported value: 50746.0 Conversion value Numbers in green are statistically significant at a 90% confidence level
  • 22. Proprietary + Confidential Site visits highlights Relative lift: +5.4% Absolute lift: +7,844 Visitors Pageviews Relative lift: +3.8% Absolute lift: +150,239 Conversion Lift Numbers in green are statistically significant at a 90% confidence level
  • 23. na co nesmíme zapomenout
  • 24. Výsledky Conversion Liftu jsou konzervativní Změřený nárůst Nedoměřený nárůst Proč? Měříme pouze vliv v období experimentu, ale často pozitivní vliv pokračuje. Uživatele v kontrolní skupině byli neúmyslně vystavení vašim reklamám v jiné síti. Uživatelé si mažou cookies. Uživatelé odmítnout sledování cookies (vidí reklamy, ale nespojí se s konverzí). Některé kanály nákupu se neměří. Ti, co by konvertovali i bez měřené kampaně
  • 25. A také sezónalita, reklamy v dalších sítích atd. Dejte si záležet, aby vaše kampaň byla dobře nastavená a zoptimalizovaná. Kvalita kreativy může mít velký vliv. Další vlivy jako sezónalita nebo použití stejných reklam v dalších kanálech mohou zkreslit výsledky. Inkrementalita není dána jen mediálním kanálem Vaše reklama Kvalita vaší kreativy Kontext Cílení Viditelnost
  • 26. závěr: Conversion lift je řešení pro jednorázové měření inkrementality display a video kampaní, kde klasická atribuce na kliky nestačí.

Notas do Editor

  1. well-defined target group precise control over who is allowed to see the ads.
  2. However, modern ad servers using cost per click (CPC) and action (CPA) pricing and creative optimisation distort these so-called "PSA tests." >> Selection bias >> extra cost
  3. well-defined target group precise control over who is allowed to see the ads.
  4. Conversion Lift measures causal differences in conversion behavior and site visit behavior We create a control group out of the pool of users that would have seen your ad, but instead of showing your ad, we show the next ad in the auction. We then track and compare the differences in downstream behaviors of both those that actually saw your ad (test group) and those that would have, but didn’t (control group) The experiment will split the cookies in your target audience into two groups: 1) The test group who will see your ad (~70% of users) and 2) The control group who would have seen your ad, but are instead shown the next ad in the auction (~30% of users). This is called a ghost ad. At the end of the experiment we compare the conversions (including cross-device conversions) and pageviews for both groups to measure what percentage of conversions & pageviews were directly caused by the ad versus those that would have occurred anyways. The experiment reporting contains data about conversions caused by the ad (called also "incremental") broken down by conversion type.
  5. Conversion Lift measures causal differences in conversion behavior and site visit behavior We create a control group out of the pool of users that would have seen your ad, but instead of showing your ad, we show the next ad in the auction. We then track and compare the differences in downstream behaviors of both those that actually saw your ad (test group) and those that would have, but didn’t (control group)