De expertgroep Revenue Optimization van ShoppingTomorrow bestaat uit 20 conversie-optimalisatie experts van verschillende data-gedreven bedrijven, waaronder Bol.com, Google, Fonq, Greetz en de Bijenkorf. De expertgroep doet jaarlijks onderzoek naar belangrijke competenties binnen het vakgebied conversie-optimalisatie, zoals tooling, het CRO proces, trends, A/B test velocity en organisatie. Tijdens de Webwinkel Vakdagen 2019 deelden ISM'er Jurjen Jongejan, Rutger de Groot van Mintminds en Jurrien Schouten van Fonq namens de groep veel concrete praktijktips voor meer rendement uit uw conversie-optimalisatieprogramma.

1. Expertgroep Revenue Optimization
Veel concrete tips voor meer rendement uit je
conversie-optimalisatie programma

2. Onderzoeksprogramma om de concurrentiepositie van Nederland te versterken
Shopping Tomorrow

3. Voorzitter Expertgroep Revenue Optimization
Jurjen Jongejan
CRO strateeg | Online Marketing Director
j.jongejan@ism.nl
Linkedin.com/jurjenjongejan
@jurjenjongejan
 Oprichter afdeling online marketing & optimalisatie bij ISM eCompany
 Meer dan 15 jaar ervaring in optimalisatie & e-Commerce
 Bestseller auteur

4. Senior Conversie-optimalisatie
Jurjen Jongejan
Consultant
Farshad Soleymani
Conversie Manager
Rick Weij
Conversie Specialist
Bas Jansen
Sr. Conversion Specialist
Wesley Koolen
E-commerce Manager
Jurrien Schouten
CRO Specialist
Raun Sips
Business Analist
Bernadette Bijkerk
CRO Specialist
Kristof Vervliet
E-commerce Director
Guido Jansen
Global CRO lead
Rudger de Groot
CRO Specialist
Sascha van Eck
Conversion Specialist
Marijn Tijhuis
CRO specialist
Melle Moorman
UX & CRO expert
Marlous Vennegoor op Nijhuis
Product Owner eCommerce
Helene Hallebeek
Data analist
Kiki Spek
Conversion Manager
Erik van Houwelingen
Lead CRO & Webanalytics
Floor Hickmann
UX Design Manager
CRO consultant
Loef Kleinmeijer

5. 2015 2016
Download onze bluepapers van vorige jaren:
www.shoppingtomorrow.nl/download
2017

7. Personen
Activiteiten
Aantal A/B - MV tests
Tools
Draagvlak
Gevorderde kennis
conversieoptimalisatie:
• Gevorderde Analytics kennis
• Conversion-centered design
Niveau 2 +
• Enquetes
• Webanalytics-analyses (incl.
segmentatieanalyses)
• Onsite klantfeedback analyses
4 - 10 testen per maand
Niveau 2 +
• Onsite klantfeedbacktool
• Form analysis tool
• Project management tool
Hoger management
Klein conversie-optimalisatie
team: webanalist, designer, front
end developer, conversie-
specialist
Niveau 3 -
Vaardigheden Basiskennis
conversieoptimalisatie
Niveau 1 +
• A/B-testing
• Gevorderde webanalytics
analyses
1 - 3 testen per maand
Niveau 1 +
• A/B testing tool
Lager management
Conversie-optimalisatie
specialist
Niveau 2 -
Basiskennis
online marketing
• Externe expert-analyse
• Webanalytics analyses
• Sessie recording analyses
Geen
• Webanalytics
• Performance monitoring-
tool
• Sessie recording tool
Lijnmanagement
Online marketing specialist
Niveau 1 -
Expert in conversie-
optimalisatie:
• Verleidingstechnieken
• Conversie-copywriting
Niveau 3 +
• Realtime personalisatie
• Usability onderzoek
• Gedragsonderzoek
11 - 17 testen per maand
Niveau 3 +
• Realtime personalisatie-
tool
Directieniveau
Groot conversie-optimalisatie
team: + UX researcher,
psycholoog/gedrags-
onderzoeker, copywriter
Niveau 4 -
Data driven expert:
• Business Intelligence
• Datamining
Niveau 4 +
• Data als input voor nieuwe
ontwikkelingen
• Algoritme testing
> 17 testen per maand
Niveau 4 +
• Predictive analytics tool
Gehele organisatie
Meerdere conversie-
optimalisatie teams: +
Statisticus, big data specialist,
teammanagers
Niveau 5 -
(A/B test) KPI’s
Buying Cycle-niveau
Online omzet-KPI’s:
Online omzet, online
omzetwaarde per bezoek
Sessie-niveau
Conversie-KPI’s:
Add to cart, uitvalpercentages,
conversiepercentage
Sessie-niveau
Interactie-KPI’s:
Traffic, bounce rate, time on
site, paginaweergaven,
verkeersbronnen
Omnichannel-niveau
Totaalomzet, winst
Customer lifetime-niveau
Klanttevredenheid, NPS,
Customer lifetime value
* In dit model ligt de grens om te kunnen A/B testen of Multivariatie (MV) testen vanaf 1.000 bestellingen per maand.
Volwassenheidsmodel voor conversie-optimalisatie

9. Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en conversie
per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en naar
volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse klantenservicevragen
o Interviews met klanten
o Etc.
A B C

10. Vraag aan de leden van onze expertgroep:
‘Wat is jouw grootste uitdaging om verder te groeien
met je CRO programma?’

12. - Mijn A/B test proces ligt stil; het redesign gaat voor
- Grote innovatieve projecten gaan voor
- Grote functionaliteit gaat live zonder dat de business value hiervan aangetoond is
- A/B test winnaar duurt 4 maanden voordat het live gaat
- ‘Ze snappen niet dat mijn verbeterpunten veel meer waarde toevoegen’
- Teams werken langs elkaar heen
- Developers willen liever innoveren dan optimaliseren
- ....
Voorbeelden uitdagingen (én frustraties)

13. Centrale onderzoeksvraag
Hoe voorkom ik dat mijn conversie-optimalisatie proces stagneert,
doordat (Development) resources naar grote(re) projecten gaan?

14. 3 typen optimalisaties binnen het CRO proces
TYPE 1: verbetering
Kleine verbeteringen en doorontwikkeling van de bestaande online omgeving, inclusief bugfixing /
security patches / pro-actief onderhoud
TYPE 2: vernieuwing
Fundamentele vernieuwing van de online omgeving
TYPE 3: innovatie
Fundamentele en digitale innovatie: een geheel nieuw verdien- en bedrijfsmodel (‘game changer’)

15. TYPE 1: Verbetering
kleine verbeteringen en
doorontwikkelingen van de bestaande
online omgeving
Usability onderzoek learning:
Gebruikers missen de
‘Toevoegen’-button en gaan
verder naar de volgende
stap, zonder de kortingscode
toe te passen.
Voor Na

16. TYPE 2: vernieuwing
Fundamentele vernieuwing van de online omgeving

17. TYPE 3: innovatie
Fundamentele en digitale innovatie: een geheel nieuw verdien- en
bedrijfsmodel (‘game changer’)

18. Oorzaken stagnerend CRO proces

19. • Prioritering o.b.v. onderbuikgevoel
• Vernieuwingsdrang
• Te weinig draagvlak voor CRO door
ontbreken datagedreven cultuur
• Te weinig kennis over CRO, geen tijd om het
op de kaart te zetten
• Lastig om business value te bepalen

20. • Wel draagvlak, maar proces en resultaat
blijven toch achter
• Tegenstrijdige doelstellingen, belangen en
mindset in teams
• Resources worden gedeeld met hele
organisatie
• Grote projecten lopen steeds uit
• CRO proces zelf niet goed, waardoor impact
tegenvalt

21. tips om een stagnerend
CRO proces op te lossen

23. Oplossingen voor stagnerend CRO proces

25. TIP 1: maak de waarde van iedere A/B test inzichtelijk

26. Bol.com heeft het omzetverlies
door het niet direct
implementeren van een
winnende variant aangetoond,
en daarmee alsnog resources
gekregen

27. TIP 2: maak de waarde van je totale CRO programma inzichtelijk

28. Waarde CRO programma
A/B test succes
ratio

29. TIP 3: gebruik pre-to-typing om de waarde aan te tonen

30. CRO Aanpak
VRAAG :
“We willen functionaliteit
toevoegen dat bezoekers
online de voorraad van onze
winkels kunnen bekijken!
Moeten we hier in
investeren?”

31. CRO Aanpak
De techniek ‘pre-to-
typing’ is toegepast.
‘Schijnfunctionaliteit’
toegevoegd om te
toetsen of de behoefte
bij de bezoekers er is.

33. Heatmap – clicks - desktop Heatmap – taps - mobiel
Bron: Hotjar

34. Productpagina
Categoriepagina
Homepage
Checkout
Overzicht
€
Winkelmand
Fysieke winkel
Productpagina
Kassa
€
Voorraad check
Categoriepagina
Homepage
6,9%
Unieke bezoekers op productpagina: > 40.000
4,2%
De behoefte bij de bezoekers is
er. De investering is daardoor
goed te verantwoorden en
ondersteunt in de optimalisatie
van de klantreis.
Bron: Google Analytics

37. Jurrien Schouten
Lead CRO & UX bij fonQ
 Sinds 2010 werkzaam bij fonQ
 Grondlegger CRO proces bij fonQ
 Verantwoordelijk voor data- & klantgedreven UX optimalisaties
jurrien.schouten@fonq.nl
Linkedin.com/jurrienschouten

38. TIP 4: laat intern écht gebruikersgedrag zien

39. fonQ organiseert elke
twee maanden usability
onderzoek waarbij
diverse stakeholders
kunnen aansluiten en
input aanleveren. Zo is
de betrokkenheid groot
en zien stakeholders
zelf de ervaring van
klanten.

40. Haal je klanten in huis!
• 1x per twee maanden, 2 dagen testen
• Voor iedereen zichtbaar
• Topics zelf bepalen, maar ook ophalen
bij verschillende afdelingen
• Live notities maken met Lookback.io
• Insights presenteren & iedereen
uitnodigen

41. De Bijenkorf heeft
kwalitatieve en visuele
inzichten vanuit neuro
usability onderzoek
gebruikt als extra
onderbouwing voor een
A/B test. Hierdoor werd
het belang voor
stakeholders duidelijker

43. Bol.com test
regelmatig nieuwe
functionaliteit of
designs met guerilla
user testing op Utrecht
Centraal. Hierbij
sluiten o.a.
Developers, designs
en directors bij aan.
Dit levert direct
waardevolle
klantfeedback op en
zorgt voor betere
betrokkenheid van
stakeholders bij het
proces

44. TIP 5: gebruik interne (online) tools om je resultaten te delen

46. Sanoma gebruikt Slack
om om testresultaten en
–inzichten op een
interactieve manier te
delen. Hiermee is de
zichtbaarheid van het
CRO programma
aanzienlijk verbeterd.

47. “De Hippo metafoor helpt BCC bewust te
zijn van de valkuilen van opinie gedreven
beslissingen en de toegevoegde waarde
van het sturen op data”.
Herman Bramer – Algemeen directeur BCC
Bij BCC is de algemeen
directeur overtuigd van het
belang van datagedreven
werken, en heeft hij dit poster
in zijn kantoor hangen om
zichzelf en anderen hier
scherp op te houden

49. Rudger de Groot
Oprichter Mintminds Digital Optimizers
 +10 jaar ervaring data driven experimentation
 Internationaal spreker CRO events:
 7 & 8 februari op Yoastcon - Nijmegen
hello@mintminds.com
Linkedin.com/rudgerdegroot
@derrudi

50. TIP 6: gebruik een A/B test bandbreedte calculator

51. Voorbeeld input en output - Productpagina

52. Aantal AB Testen per maand
1 A/B Test
1 A/B Test
Aantal A/B Testen per maand
1 A/B Test
1 A/B Test
1 A/B Test
1 A/B Test
Desktop
Hoge prio
Mobile
Hoge prio
Winkelwagen
Categoriepagina
Checkout
€
Productpagina
Homepage
Winkelwagen
Categoriepagina
Checkout
€
Productpagina
Homepagina
Max. # A/B testen o.b.v. huidig aantal transacties/bezoekers

53. Inzichten verzamelen A/B Testen
Data
A/B
testen
Hypothesen
Design
Development
5 uur per A/B test 15 uur per A/B test 120 uur per maand

54. TIP 7: breng in kaart waar de stagnatie in je proces zit

55. Probleem CRO’s:
Het test proces
Bron: ConversionXL Report 2018

57. Met een projectmanagementtool, zoals
Effective Experiments, een andere tool
of je eigen systeem, maak je
inzichtelijk waar in het proces de
stagnatie optreedt. Zo kun je daar op
focussen bij procesoptimalsiatie

58. Met een projectmanagementtool, zoals
Effective Experiments, een andere tool
of je eigen systeem, maak je
inzichtelijk waar in het proces de
stagnatie optreedt. Zo kun je daar op
focussen bij procesoptimalsiatie
Case:
 Testen veel
 Ambitie aantal testen x 2
 Hoge kwaliteitseisen development

59. Met een projectmanagementtool, zoals
Effective Experiments, een andere tool
of je eigen systeem, maak je
inzichtelijk waar in het proces de
stagnatie optreedt. Zo kun je daar op
focussen bij procesoptimalsiatie
POC Test buiten reguliere dev proces
Wel samenwerken met development voor QA
Klein team (ipv verspreid over verschillende teams), korte lijnen
Data gedreven test concept

60. Met een projectmanagementtool, zoals
Effective Experiments, een andere tool
of je eigen systeem, maak je
inzichtelijk waar in het proces de
stagnatie optreedt. Zo kun je daar op
focussen bij procesoptimalsiatie
Back on stock email alert
 Bezoeker feedback Nr 1 issue:
product is net even niet
leverbaar
 Email alert signup voor 23%
bezoekers beneden de fold

61. Met een projectmanagementtool, zoals
Effective Experiments, een andere tool
of je eigen systeem, maak je
inzichtelijk waar in het proces de
stagnatie optreedt. Zo kun je daar op
focussen bij procesoptimalsiatie
Back on stock email alert
 Add to cart button is nu de
back on stock alert.
 “Tijdelijk niet op voorraad”
tekst op de plek van voorraad
indicatie.
Resultaat:
 +57,6 % Clicks back on stock
alert.
 +42,4% Submit formulier

62. Tip 2: laat management zien dat de
vernieuwingsdrang te groot is
ALGEMENE TIP: laat management zien dat de vernieuwingsdrang te
groot is

63. 0-1 jaar 1-2 jaar 2-5 jaar
Risico
Laag
Hoog
Type 1:
Verbeteringen
Type 2:
Vernieuwingen
Type3:
Innovaties
Onderbuikgevoel gedreven
initiatieven
Veel te risicovol

64. 0-1 jaar 1-2 jaar 2-5 jaar
Risico
Laag
Hoog
Type 1:
Verbeteringen
Type 2:
Vernieuwingen
Type 3:
Innovaties
Datagedreven initiatieven
Kies voor een gebalanceerd portfolio

65. Oorzaken stagnerend CRO proces

66. Oplossingen voor stagnerend CRO proces

67. Bedankt voor jullie aandacht!
Meer informatie op de stand van ISM eCompany
Ontdek uw volwassenheid en groeikansen op
www.mijnconversiescore.nl
Bekijk mobiele conversiecases op
www.mijnconversiescore.nl/mobiele-cases