O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

De aanpak voor succesvolle A/B-testen

Wilt u er zeker van zijn dat de aanpassingen in uw webshop uw omzet structureel verhoogt? Ga dan A/B-testen! Wie bepaalt idealiter de kleur van de bestelbutton in uw webshop waar bezoekers het liefst op klikken om zijn bestelling af te ronden? Juist, dat is uw bezoeker. Kleine aanpassingen kunnen al grote impact hebben op uw omzet. Een A/B-test opzetten waarbij u variant A test met variant B klinkt heel simpel en.. dat is het ook, mits u op de juiste manier te werk gaat. Danny vertelde in de masterclass van ISM eCOmpany hoe u direct aan de slag kunt met A/B-testen, gaf onmisbare tips en liet inspirerende voorbeelden zien van succesvolle A/B-testen en de meest voorkomende fouten.

  • Entre para ver os comentários

De aanpak voor succesvolle A/B-testen

  1. 1. Dé aanpak voor succesvolle A/B-testen! Danny Loeffen Webanalytics & Conversie optimalisatie consultant CRO Masterclass | 09 maart 2017
  2. 2. Danny Loeffen Webanalytics & Conversie optimalisatie consultant| ISM eCompany d.loeffen@ism.nl linkedin.com/in/dannyloeffen ISM eCompany 2015 - 2017 Webanalytics & Conversie-optimalisatie consultant Shoeby 2014 - 2015 Conversie specialist & Front-end Developer Symfony 2011 - 2014 Conversie specialist & Front-end Developer Avans Hogeschool ‘s-Hertogenbosch Communicatie & Multimedia Design
  3. 3. Agenda 1. Wat is A/B-testen? 2. Waarom ga je A/B-testen? 3. Wanneer ga je A/B-testen? 4. De succesvolle aanpak voor A/B-testen
  4. 4. 1. Wat is A/B-testen?
  5. 5. 1. Wat is A/B testen?
  6. 6. 1. Wat is A/B testen? ORIGINEEL A
  7. 7. 1. Wat is A/B testen? VARIANT B
  8. 8. 1. Wat is A/B testen?
  9. 9. 2. Waarom ga je A/B-testen?
  10. 10. 2. Waarom ga je A/B-testen? Periode Conversiepercentage Verbetering april 1% mei ?
  11. 11. 2. Waarom ga je A/B-testen?
  12. 12. 2. Waarom ga je A/B-testen?
  13. 13. 2. Waarom ga je A/B-testen?
  14. 14. 2. Waarom ga je A/B-testen?
  15. 15. Periode Conversiepercentage Verbetering april 1% mei 1.5% +50% 2. Waarom ga je A/B-testen?
  16. 16. 2. Waarom ga je A/B-testen? Reguliere periode
  17. 17. 2. Waarom ga je A/B-testen? Sale periode
  18. 18. 2. Waarom ga je A/B-testen? Uitsluiten  Sale  Wijzigingen inonline/offline campagnes  Wijzigingen inassortiment  Overige wijzigingen aande webshop  Seizoensinvloeden  Feestdagen
  19. 19. 2. Waarom ga je A/B-testen? ORIGINEEL A VARIANT B
  20. 20. 2. Waarom ga je A/B-testen?
  21. 21. 2. Waarom ga je A/B-testen? Learnings
  22. 22. 2. Waarom ga je A/B-testen?
  23. 23. 2. Waarom ga je A/B-testen? ORIGINEEL A VARIANT B
  24. 24. 2. Waarom ga je A/B-testen? Learningstoepassenbij  Google Adwords advertenties  Facebook advertenties  E-mail marketing campagnes  USP’s van dewebshop  Andere paginatemplates binnen de webshop  Volgende A/B tests
  25. 25. 3. Wanneer ga je A/B-testen?
  26. 26. Technologie Functionaliteit Usability Intuïtie Emotie Obstakels wegnemen Hypotheses altijd A/B testen Obstakels wegnemen Hypotheses altijd A/B testenUnieke waarde propositie Obstakels wegnemen Hypotheses A/B testen of webshop direct aanpassen Obstakels wegnemen Webshop direct aanpassen 3. Wanneer ga je A/B-testen?
  27. 27. 4. De aanpak voor succesvolle A/B-testen
  28. 28. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 4. De succesvolle aanpak voor A/B-testen 4. De aanpak voor succesvolle A/B-testen
  29. 29. 4. De aanpak voor succesvolle A/B-testen
  30. 30. 4. De aanpak voor succesvolle A/B-testen
  31. 31. 4. De aanpak voor succesvolle A/B-testen  63% van de bezoekers die de winkelmand bereiken, verlaat deze zonder verder te gaan met bestellen
  32. 32. 4. De aanpak voor succesvolle A/B-testen
  33. 33. 4. De aanpak voor succesvolle A/B-testen  Voor diverse bezoekers bleek het niet duidelijk te zijn dat een account aanmaken niet verplicht is
  34. 34. 4. De aanpak voor succesvolle A/B-testen
  35. 35. 4. De aanpak voor succesvolle A/B-testen  Diverse bezoekers lijken te twijfelen om door te gaan naar de checkout en verlaten de webshop
  36. 36. 4. De aanpak voor succesvolle A/B-testen
  37. 37. 4. De aanpak voor succesvolle A/B-testen (gepercipieerd) plezier (gepercipieerde) pijn Product Gemak Ervaren voordeel Service Kwaliteit Ontzorging Geld (overstap) tijd Inspanning Risico Onzekerheid
  38. 38. 4. De aanpakvoor succesvolle A/B-testen
  39. 39. 4. De aanpak voor succesvolle A/B-testen  ...Eerder uitgevoerde A/B tests
  40. 40. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  41. 41. 4. De succesvolle aanpak voor A/B-testen 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  42. 42. 4. De aanpak voor succesvolle A/B-testen
  43. 43. Verbeterpunten Pagina Device Analyse Vermijd het gebruikvan scrollbars bij filters Dit is niet gebruiksvriendelijk, zeker niet bij tablets.Toon liever de belangrijkste merken (minimaal 6, maximaal 10) en een ‘Toon meer’ button/tekstlink. Categoriepagina alle devices Expert review okt-15 Doorvoeren loyalty e-mail campagnes campagne alle devices Data Analyse Vermeld prominent verzendkosten, levertijden en overige voorwaarden voor bestellen vanuit België en Duitsland Plaats een duidelijke linkofbutton naar een pagina met verzendkosten, levertijden, etc. voor in ieder geval Belgiëen Duitsland. Deze landen zijn verantwoordelijkvoor zo’n 5%van de omzet en voor deze bezoekers moet direct duidelijk zijn wat voor hen de voorwaarden zijn. Alle pagina's alle devices Expert review okt-15 AB test: Buttontekst aanpassen ‘Verder naar bestellen’ Wat met ‘Naar uw gegevens’ wordt bedoeld is mogelijkniet voor iedere bezoeker duidelijk. Een AB test kan uitwijzen of een buttontekstzoals ‘Verder/Doorgaan met bestellen’ tot een hoger doorklikratio leidt. Winkelmand alle devices Expert review okt-15 Toon een shop reviews widget, incl. klantcijfer en aantal beoordelingen Toon een shop reviews widget waarbij minimaal één klantreview zichtbaar is. Winkelmand alle devices Expert review okt-15 Toon duidelijk een telefoonnummer van deklantenservice De klantenservice verhoogt het conversiepercentage.Zorg dathet telefoonnummer en e-mailadres van de klantenservice prominenter in beeld is, tezamen met de tijden waarop dezebereikbaar is. Winkelmand alle devices Expert review okt-15 Toon levertijd in de winkelmand Geef de levertijd weer van de producten in de winkelmand Winkelmand alle devices Expert review okt-15 Klantbeoordelingen prominenter tonen, inclusief cijfer, boven de vouw(lieft in de header) Alle pagina's alle devices Heatmap analyse Weergeven van Thuiswinkel Waarvorg logo boven devouw (heaer) Een bekend keurmerk versterkt het vertrouwen in dewebshop, met name bij nieuwe bezoekers. Toon dit keurmerk daarom prominent op iedere pagina. Alle pagina's alle devices Expert review okt-15 Klantreviews (reviews over de shop zelf)+ klantcijfer tonen Toon deze prominent en dynamisch op de detailpagina. Productpagina alle devices Expert review okt-15 Micro-copywriting* onder bestelbutton Een vlot bestelproces is altijd prettig voor bezoekers . Geef daarom onder de button middels micro-copywritingaan dat bij Jeroen Beekman snel besteld kan worden zonder een accountaan te maken. Tip: Een A/B test kan uitwijzen ofdezetekst de CTR doet verhogen. Winkelmand alle devices Expert review okt-15 Toon tijdens het bestelproces altijd het betreffende besteloverzicht. Zorg dat de artikelen diede bezoeker wil bestellen in een kort overzicht, tijdens het bestelproces altijd in beeld zijn. Zo weet de bezoeker ten aller tijde wat hij straks gaat bestellen. Door dit overzicht sticky te maken, blijft deze altijd zichtbaar wanneer naar beneden gescrold wordt. Checkout alle devices Expert review okt-15 Klantreviews (reviews over de shop zelf)+ klantcijfer tonen Toon deze prominent en dynamisch op de overzichtpagina, liefst met minimaal één klantreview. Categoriepagina alle devices Expert review okt-15 Toon productreviews (sterren) Versterk hiermee de sociale bevestigingbij bezoekers en help ze hun keuze te vereenvoudigen. Categoriepagina alle devices Expert review okt-15 Prominent tonen shopreviews + cijfer. Jeroen Beekman maakt gebruik van shopreviews, echter wordt dit niet duidelijkboven de vouwgecommuniceerd. Toon de gemiddelde klantbeoordeling promintent(in de header) inclusief cijfer en aantal beoordelingen. Homepage alle devices Expert review okt-15 Toon voorraadstatus in de winkelmand Geef de voorraadstatus weer van de producten in de winkelmand en speel in op schaarste: “Nog 1op voorraad!” Winkelmand alle devices Expert review okt-15 “Kassakoopjes” eenvoudigtoevoegen aan winkelmand Geef de mogelijkheid om “Kassakoopjes” (zoals waterdicht spray) direct toete voegen aan de winkelmand voor eenvoudige up-sell. Winkelmand alle devices Expert review okt-15 Toon de totale korting(indien aanwezig) En geef aan dat deze al verrekend is. Geef bezoekers een ‘feel good’ gevoel door te laten zien wat zij besparen op hun bestelling Winkelmand alle devices Expert review okt-15 Vandaag besteld, actueledatum+tijdstip in huis. Geef dynamisch aan wanneer de bezoeker zijn bestelling in huis heeft wanneer hij nu besteld om het gevoel van mentaal bezitnemen te versterken. Productpagina alle devices Expert review okt-15 Toon de best verkochte merken als eerst in het filter Zodra de bezoeker kiest voor ‘Toon meer’, toon dan de producten op alfabetischevolgorde. Zelfde geldt voor categorieën. Categoriepagina alle devices Expert review okt-15 4. De aanpak voor succesvolle A/B-testen
  44. 44. 4. De aanpak voor succesvolle A/B-testen Waar moeten we beginnen?
  45. 45. 4. De aanpak voor succesvolle A/B-testen P I E Potential Importance Ease Prioriteit+ + =
  46. 46. 4. De aanpak voor succesvolle A/B-testen P I E Potential Importance Ease Prioriteit+ + =
  47. 47. 4. De aanpak voor succesvolle A/B-testen P I E Potential Importance Ease Prioriteit+ + =
  48. 48. PrioVerbeterpunten Potential Importance Ease
  49. 49. PrioVerbeterpunten Potential Importance Ease
  50. 50. PrioVerbeterpunten Potential Importance Ease
  51. 51. PrioVerbeterpunten Potential Importance Ease
  52. 52. PrioVerbeterpunten Potential Importance Ease
  53. 53. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  54. 54. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  55. 55. Technologie Functionaliteit Usability Intuïtie Emotie Obstakels wegnemen Hypotheses altijd A/B testen Obstakels wegnemen Hypotheses altijd A/B testenUnieke waarde propositie Obstakels wegnemen Hypotheses A/B testen of webshop direct aanpassen Obstakels wegnemen Webshop direct aanpassen 4. De aanpak voor succesvolle A/B-testen
  56. 56. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  57. 57. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  58. 58. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  59. 59. 4. De aanpak voor succesvolle A/B-testen
  60. 60. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  61. 61. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 1 “6 fasen”
  62. 62. Fase 1: Stel een goede hypothese op
  63. 63. Fase 1: Stel een goede hypothese op
  64. 64. Fase 1: Stel een goede hypothese op  Een accountaanmaken is niet verplicht.  ‘Bestelling afronden’ klinkt (onterecht)erg definitiefen voelt als ‘pijn’
  65. 65. ietswaarvan jeverwachtdat hetobstakelzalwegnemen Fase 1: Stel een goede hypothese op Het veranderen van hetobstakeldatuitje analysenaarvorenkomt in verhoogt / verlaagt de testKPI bijdedoelgroep
  66. 66. Buttontekst: Verder met bestellen Fase 1: Stel een goede hypothese op Het veranderen van Buttontekst: Bestelling afronden in verhoogt / verlaagt het conversiepercentage bij desktopverkeer
  67. 67. Bestel snel:Eenaccount aanmaken is niet verplicht Fase 1: Stel een goede hypothese op Het veranderen van Geentekst in verhoogt / verlaagt het conversiepercentage bij desktopverkeer
  68. 68. Fase 1: Stel een goede hypothese op Door de buttontekstte wijzigen naar “Verder met bestellen” én door een tekst toe te voegen onder de button “Bestel snel: Een account aanmaken is NIET verplicht”, rondt een hoger percentage van de desktop bezoekers hun bestelling af. De hypothese
  69. 69. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 1 “6 fasen” 2
  70. 70. Fase 2: Maak je testplan Een testplan opzetten 1. Vaststellen vandetestKPI’s 2. Een testmethode kiezen 3. Testduur bepalen 4. Minimale kans opverbetering bepalen
  71. 71. Fase 2: Maak je testplan Een testplan opzetten 1. Vaststellen vandetestKPI’s 2. Een testmethode kiezen 3. Testduur bepalen 4. Minimale kans opverbetering bepalen
  72. 72. Fase 2: Maak je testplan
  73. 73. Fase 2: Maak je testplan TestaltijddeKPIdiedebedrijfsdoelenhetdichtstnadert Voorwaarden 1. De KPI moet meetbaar zijn 2. Voldoende traffic enconversies 3. Duur van aankoopproces aanzienlijk korter dantestduur
  74. 74. Fase 2: Maak je testplan Een testplan opzetten 1. Vaststellen vandetestKPI’s 2. Een testmethode kiezen 3. Testduur bepalen 4. Minimale kans opverbetering bepalen
  75. 75. Fase 2: Maak je testplan Kies er 2! Korte testduur Hoge impactConversie-effect toewijzen (aan specifieke aanpasing)
  76. 76. Fase 2: Maak je testplan Kies er 2! Korte testduur Conversie-effect toewijzen (aan specifieke aanpasing) “1 element tegelijk testen” Hoge impact 1
  77. 77. Fase 2: Maak je testplan
  78. 78. Fase 2: Maak je testplan VS ORIGINEEL A VARIANT B  Korte testduur  Conversie-effect toewijzen
  79. 79. Fase 2: Maak je testplan Kies er 2! Korte testduur Hoge impactConversie-effect toewijzen (aan specifieke aanpasing) • “1 element tegelijk testen over meerdere A/B testen” • “Multivariate testen*” *Alleenbij voldoende traffic enconversies 2
  80. 80. Fase 2: Maak je testplan VS ORIGINEEL A VARIANT B  Conversie-effect toewijzen  Hoge impact Test 1 VSTest 2 VSTest 3
  81. 81. Fase 2: Maak je testplan VS VS VS ORIGINEEL A VARIANT B VARIANT C VARIANT D  Conversie-effect toewijzen  Hoge impact
  82. 82. Fase 2: Maak je testplan Kies er 2! Korte testduur Hoge impactConversie-effect toewijzen (aan specifieke aanpasing) “Meerdere elementen tegelijk testen” 3
  83. 83. Fase 2: Maak je testplan VS ORIGINEEL A VARIANT B  Korte testduur  Hoge impact
  84. 84. Fase 2: Maak je testplan Een testplan opzetten 1. Vaststellen vandetestKPI’s 2. Een testmethode kiezen 3. Testduur bepalen 4. Minimale kans opverbetering bepalen
  85. 85. Fase 2: Maak je testplan ? ? ? Bron: vwo.com/ab-split-test-duration/
  86. 86. Fase 2: Maak je testplan Periode: Afgelopen 30 dagen 277 pageviews per dag (totaal/30)
  87. 87. Fase 2: Maak je testplan ? ?
  88. 88. Fase 2: Maak je testplan Periode: Afgelopen 30 dagen 2344 transacties Conversiepercentage winkelmand pagina: Aantal transacties / Aantal unieke paginaweergaven winkelmand (2344/8308)*100% = 28.21%
  89. 89. Fase 2: Maak je testplan
  90. 90. Fase 2: Maak je testplan Een testplan opzetten 1. Vaststellen vandetestKPI’s 2. Een testmethode kiezen 3. Testduur bepalen 4. Minimale kans opverbetering bepalen
  91. 91. Fase 2: Maak je testplan Drie keuzes 1. Alles boven 95% kans accepteren 2. Alles boven 90% kans accepteren 3. Alles boven 80% kans accepteren (Bayesian)
  92. 92. Fase 2: Maak je testplan Wel of niet doorvoeren? AB-test Conversie variant 1 Kansomcontrol te verslaan Significantie 90% Bayesian >80% 1 5% 98% Ja Ja 2 3% 86% Ja 3 4% 89% Ja 4 3% 84% Ja 5 2% 74% 6 5% 97% Ja Ja Doorgevoerdevarianten 2 5 Verwachte omzetstijging € 350,000 € 600,000 Verwacht risico € 17,500 € 120,000 Risico % 5% 20% Totaal verwachte omzet € 333,375 € 504,000
  93. 93. Fase 2: Maak je testplan Een testplan opzetten  Vaststellen vandetestKPI’s  Een testmethode kiezen  Testduur bepalen  Minimale kans opverbetering bepalen
  94. 94. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 1 “6 fasen” 2 3
  95. 95. Fase 3: Testvariantenmaken VS ORIGINEEL A VARIANT B  Korte testduur  Hoge impact
  96. 96. 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 1 “6 fasen” 2 3 4
  97. 97. Fase 4: Zet je test live en monitor WACHT!Test voordat je écht live gaat nog het volgende:
  98. 98. Fase 4: Zet je test live en monitor Testof alle elementenopje testpagina correct functioneren  Werken alle functionaliteiten op de testpagina nog?  Zijn er geen elementen verschoven?  Check verschillende browsers  Check verschillende browserversies (Internet Explorer)  Check de zoomfunctie per browser  Check verschillende resoluties  Test op één device tegelijk, sluit andere devices uit.  Sluit ander niet-relevant verkeer uit (per test afhankelijk)
  99. 99. Fase 4: Zet je test live en monitor Koppelje testdataaan GoogleAnalytics
  100. 100. Fase 4: Zet je test live en monitor Koppelje testdataaan GoogleAnalytics
  101. 101. Fase 4: Zet je test live en monitor Monitoren 1. Statistieken inA/B test software 2. Statistieken inGoogle Analytics 3. Verschillen hiertussen
  102. 102. Fase 5: Analyseer je testresultaten 20dagenlater…
  103. 103. Fase 5: Analyseer je testresultaten Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 1 “6 fasen” 2 3 4 5
  104. 104. Fase 5: Analyseer je testresultaten Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 1 “6 fasen” 2 3 4 5
  105. 105. VS ORIGINEEL A VARIANT B  Korte testduur  Hoge impact Fase 5: Analyseer je testresultaten
  106. 106. Fase 5: Analyseer je testresultaten
  107. 107. Fase 5: Analyseer je testresultaten
  108. 108. Fase 5: Analyseer je testresultaten Bron: abtestguide.com/calc/
  109. 109. Fase 5: Analyseer je testresultaten Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 1 “6 fasen” 2 3 4 5
  110. 110. Fase 5: Analyseer je testresultaten Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen 1 “6 fasen” 2 3 4 5
  111. 111. Fase 5: Analyseer je testresultaten
  112. 112. Fase 5: Analyseer je testresultaten Maar wat nou als het anders verloopt?
  113. 113. Fase 5: Analyseer je testresultaten Andere AB Test als voorbeeld
  114. 114. Fase 5: Analyseer je testresultaten ORIGINEEL A
  115. 115. Fase 5: Analyseer je testresultaten VARIANT B
  116. 116. Fase 5: Analyseer je testresultaten
  117. 117. Fase 5: Analyseer je testresultaten
  118. 118. Fase 5: Analyseer je testresultaten Vergeet niet te segmenteren
  119. 119. Fase 5: Analyseer je testresultaten Variant B Origineel A
  120. 120. Fase 5: Analyseer je testresultaten Bron: abtestguide.com/calc/
  121. 121. Fase 5: Analyseer je testresultaten Segmentatie mogelijkheden voor Analyse  Nieuwe vsterugkerende bezoekers  Landen  Verkeersbronnen  Prijs- ofproductcategorieën  Leeftijdscategorieën
  122. 122. Fase 5: Analyseer je testresultaten Let op!  Segmenten moeten groot genoeg zijn omvalide conclusies tetrekken, anders een nieuwe testopzetten.  Controleer dezesteekproefgrootte meteen testduur calculator  Controleer ofdeverbetering significant is  Controleer ofdoorvoeren geen negatief effect heeft opandere segmenten  Testopnieuw uitvoeren gericht opsegment
  123. 123. Fase 6: Voer je winnaar door of voer niet door 2 mogelijkheden
  124. 124. Fase 6: Voer je winnaar door of voer niet door Winnaar! Je hypothese is bevestigd!D e hypot heseisbevestigdz D e hypo Geenwinnaar! Je hypothese is niet bevestigd Verder analyseren (Learnings) Winnaar doorvoeren Verder analyseren (Learnings) Learnings post-testen / Volgende A/B test
  125. 125. Fase 6: Voer je winnaar door of voer niet door Kans op verbetering Winnaar? Vervolgactie < 80% (Bayesian) Nee Niet doorvoeren > 80% (Bayesian) Ja* Doorvoeren 90-95% Ja Doorvoeren 95-100% Ja Doorvoeren * Mits in testplan bepaald
  126. 126. 4. De succesvolle aanpak voor A/B-testen 4. De aanpak voor succesvolle A/B-testen Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantieniveau o Impact op KPI Verandering doorvoeren? Nee JaVerwerpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog o Webanalytics data o Externe expert analyses o Sessie recording analyses o Onsite klantfeedback o Usabilityonderzoek o Gedragsonderzoek o Analyse klantenservice vragen o Interviews met klanten o Etc. Bronnenvoor conversieverbeteringen
  127. 127. Bedanktvoorje aandacht
  128. 128. Vragen?

×