In diesem Vortrag, präsentiert bei der Veranstaltung "Optimierung für Verlage und Onlinemedien" am 9. Oktober 2014 zeigt Marius Kremeyer: - Wie man Ideen für A/B Testing generiert - Warum man kein Experiment ohne eine Hypothese aufsetzen sollte - Wie eine gute Hypothese aussieht - Wie man Testhypothesen priorisiert - Was Medienunternehmen und Verlage testen könnten All dies soll helfen, A/B Testing besser vorzubereiten, damit man auf die wichtigsten Schwachstellen hin optimiert und Ergebnisse fehlerfrei interpretieren kann. Optimizely können Sie unter: https://www.optimizely.de/pricing 30 Tage kostenfrei ausprobieren. Auf http://blog.optimizely.de/ finden Sie außerdem Ideen und Fallstudien rund um das Thema A/B Testing und Conversion Optimierung.

1. WAS SOLLEN WIR TESTEN?
Marius Kremeyer
Senior Account Executive D-A-CH
Optimizely

2. INHALTE
• Wie entstehen Testideen?
• Hypothesen
• Priorisieren
!
• Konkrete Beispiele

3. Wie entstehen Testideen?

4. WIE ENTSTEHEN TESTIDEEN?
• Analytics
• Qualitative Studien
• Direkter Kundenkontakt
• Best Practices
• Strategieberater*

5. WISSENSCHAFT

6. 6 PRINZIPIEN (CIALDINI)
• Reziprozität/Gegenseitigkeit
• Konsistenz und Verbindlichkeit
• Social Proof
• Sympathie
• Autorität
• Knappheit

7. Hypothesen

8. HYPOTHESEN
• Warum?
• Wie sieht eine gute Hypothese aus?

9. ZIEL EINER HYPOTHESE
• Fokus auf die richtigen Ziele und KPIs
• Fokus auf die richtigen Elemente
• Daten führen zu klarer Entscheidung
!
Keine Hypothese —> Keine Learnings

10. WIE SIEHT EINE GUTE HYPOTHESE AUS?
Wenn [gezielte Veränderung]
dann [erwarteter Effekt; KPI]
weil [tiefer liegendes Prinzip].
!
Wenn Empfehlungen von unten nach oben links verschoben
werden
dann steigen Pageviews pro Besuch
weil sie mehr Aufmerksamkeit bekommen und Nutzer eher
relevanten Content finden.

11. WIE SIEHT KEINE GUTE HYPOTHESE AUS?
Empfehlungen verschieben.
!
Überschriften rot färben.
!
Abo-Link auf Start- und Artikelseite
vergrößern

12. WIE SIEHT EINE GUTE HYPOTHESE AUS?
Wenn [gezielte Veränderung]
dann [erwarteter Effekt]
weil [tiefer liegendes Prinzip].
!
!
—> Ursache und Wirkung verstehen

13. Priorisieren

14. PRIORISIEREN VON TESTIDEEN
• Warum?
• Wie?

15. WARUM PRIORISIEREN?
• A/B Testing kostet Geld
• Plattform
• Personal
• Opportunitätskosten

16. WIE PRIORISIEREN?
Erwarteter Nutzen
5
4
3
2
1
0
1
0 1 2 3 4 5
Kosten (Aufwand)
5
4
3
2

17. WIE PRIORISIEREN?

18. WIE PRIORISIEREN?

19. INHALTE
• Wie entstehen Testideen?
• Hypothesen
• Priorisieren

20. STÄNDIGES TESTING
TESTIDEEN
GENERIEREN
HYPOTHESEN
ERSTELLEN
PRIORISIEREN
ERGEBNISSE
ANALYSIEREN
EXPERIMENTE
STARTEN

21. INHALTE
• Wie entstehen Testideen?
• Hypothesen
• Priorisieren
!
• Konkrete Beispiele

22. RECOMMENDATION ENGINE

23. HEADLINES TESTEN
• Erster Schritt
-Einzelne Headlines testen
-Allgemeine Prinzipien erproben:
• Kurz - lang
• Moderat - Reißerisch
• Mit Verben - Ohne Verben
• Teaser-Bilder: Politiker vs. Thematik
• Zweiter Schritt
-Integration ins Redaktionssystem/CMS integrieren
• Autor/Ressortleiter/Newsdesk gibt grundsätzlich mehrere Headlines
• Automatisches Testing der Headlines

24. RESSORTS DARSTELLEN

25. NEWSLETTER-ANMELDUNG (MOBILE)
• Klassische Anmeldung
(Eingabe per
Emailadresse)
• One-Click-Anmeldung

26. STÄNDIGES TESTING
TESTIDEEN
GENERIEREN
HYPOTHESEN
ERSTELLEN
PRIORISIEREN
ERGEBNISSE
ANALYSIEREN
EXPERIMENTE
STARTEN

27. FRAGEN!
Wie entstehen Testideen?
Hypothesen
Priorisieren
!
Konkrete Beispiele

28. APPENDIX

29. WARUM OPTIMIEREN?
Steady Traffic with
Conversion Rate
Improvements
Steady Conversion
Rate with Traffic Spike
Customers
acquired per month
240
160
80
0
Jan. Feb. Mar. April May June July August

30. PRAXISBEISPIEL: BLEACHER REPORT
Peter Hastie, Frontend Entwickler

31. SOCIAL SHARING
Was ist die beste Funktionalität um Social Shares zu bekommen?

32. SOCIAL SHARING
+764%
social media
followers
Original Current Variation

33. SOCIAL SHARES
Ständiges Testing eingeführt
*Peter Hastie, “Optimizely Developer Showcase,” OptiCon 2014.

34. WAS IST WIRKLICH DAS BESTE ZIEL?