Präsentation zu A/B-Tests, Analytics, Gesunden Menschenverstand und typische Fehler beim Interpretieren von Zahlen, die wir alle machen – vom Truthahn bis zum studierten Statistiker

1. Usabilitykongress 2013
Frankfurt, 11.10.2013
Big Data, große Einsichten
& große Fehler
Jens Jacobsen
benutzerfreun.de

2. I. Akt:Von Truthähnen & Schwänen

3. Schuldlos schuldig

4. Nutzerzufriedenheit Truthahn
Zufriedenheits-Rating
150
113
75
38
0
1
500
Tag
1000

5. Foto 28.11.

7. Thanksgiving
Nutzerzufriedenheit Truthahn
Zufriedenheits-Rating
150
113
75
38
0
1
500
Tag
1000

11. 2. Akt:Von Zahlen & Gefühlen

13. 37,879 Prozent
der Experten liegen falsch.

15. 15 Babys/d 45 Babys/d

16. ♀ : ♂
50 : 50

17. Wo wurden an mehr Tagen
>60% Jungs geboren?
A,
B
oder A=B?

18. Auch Statistiker sind schlechte
intuitive Statistiker.
Daniel Kahnemann

19. Testobjekt
A
Konversionsrate
A
B
4 %
Steigerung: 50%
Konfidenzniveau: 97%
B
6 %

20. A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B
A performt besser als B

22. Testobjekt
Karotte
A
(Konventionell)
B
(Öko)
4
8

24. N: Anzahl Versuche
8+4 = 12
D: Halbe Differenz Gewinner/Verlierer
(8-4) ÷ 2 = 2
Ergebnis ist signifikant, wenn
2:
D
4, N: 12
2
D
>N
nicht signifikant
Nach: http://blog.asmartbear.com/easy-statistics-for-adwords-ab-testing-and-hamsters.html

26. Signifi
kanz.

27. signifikant = nicht zufällig

29. Fotos Zeit, Fußball, Wiesn, Kalender, Überschwemmung,

33. 37,9876

34. Task-Time: sinkt um 21% (20 Sekunden)
Aufgabe: täglich 7,8 Mal durchgeführt
Angestellte: 500
ROI: 20 sec * 7,8 Mal * 5 Tage NN
* 4 Wochen * 500 Angestellte
SI
= 433,33333333 Stunden im Monat = 32.500 €
N
U

35. B
Optimum
A
B / lokales
Optimum

36. If neither the A nor B idea is very
good, then A/B testing will just tell you
which sucks less.
Peter Seibel

37. Bild: CC 2.0, The U.S. Army, https://commons.wikimedia.org/wiki/File:2007_Military_World_Games_long_jump.jpg?uselang=de

40. A
B
Tage
Konversion

41. Das sieht man doch!
Die Zahlen zeigen es.

42. Das sagt einem der gesunde
Menschenverstand.
Wir Alle

43. Gut Ding will Weile haben.
Der frühe Vogel fängt den Wurm.

44. Wer wagt, gewinnt.
Vorsicht ist die Mutter
der Porzellan-Kiste.

45. http://unbounce.com/a-b-testing/shocking-results/

46. Der gesunde Menschenverstand
taugt kaum für Vorhersagen und
noch weniger für Erklärungen.
Duncan Watts

47. Influencer
?

49. 3. Akt: Die richtigen Werkzeuge

50. Foto Durcheinander (Werkzeugkiste)

55. X
Y
q.e.d.

59. Tofu

60. (glückliches)
Ende

61. Mehr: Twitter: @benutzerfreund
Blog: www.benutzerfreun.de
Buch: