Grunderna i datadriven utveckling

Grunderna i
datadriven utveckling
Daniel Hansson 15 mars 2018

”Det enda sättet att vinna är
att lära sig snabbare än
någon annan”
- Eric Ries, 2012

En backlog är endast en
lista av otestade
hypoteser”
- Jeff Gothelf, 2014
”

- Jeff Gothelf, 2014
Det enda acceptans-
kriteriet är business
outcome”
”

Beställni
ng
Förstudie Utveckling Förvaltning
SPECADE OCH PRIORITERADE
KRAV
PROJEKTPENGARNA SLUT
LANSERING
Användningstest
Justering av krav
FÖRVALTINGSORGANISATION HOS
LEVERANTÖR ELLER EGEN FÖRVALTNING
VANLIGA PROJEKT

Övning:
Vilka risker finns med den här
projektmodellen?
Diskutera i grupper om tre i fem
minuter.

Övning:
Hur skulle du definiera “waste/svinn”
i ett projekt (eller linjearbete)? Ge
gärna exempel från ditt arbete.
minuter.

Beställnin
g
Initiativ i
teamet
Research
Design
studio
Hypo-
teser
Experime
nt
Ut-
veckling
IBLAND SKER FÖRSTA KONTAKT MED BESTÄLLARE HÄR
Utvärderi
ng
BEROENDE PÅ KOMPLEXITET, RISK OCH KOSTNAD FÖR ATT TESTA
ALTERNATIV MODELL

Ett datadrivet arbetssätt
ökar chansen att skapa
önskade effekter.

Ett datadrivet arbetssätt
minskar risken för waste.

Övning:
Vad tror ni krävs för att börja jobba
på ett datadrivet sätt?
Diskutera tre och tre i fem minuter.

Inga starka
hierarkiska krafter

Gemensamma mål som
är lätta att förstå

Del 1: Definitioner
Viktiga begrepp att känna till

CTR
Konverter-
ingsgrad
Konverter-
ing / Mål-
uppfyllnad
Besök
Unika
besökare
Sidvisning
Bounce
Exit
% Search
refinement
% Search
exit
Önskade effekter Optimering

Del 2: Exempel:
Svtplay.se
Från utforskande beställning till
validerad hypotes

Uppdrag:
Utforska personalisering av Svtplay.se
utan inloggning

Initiativ i
teamet
Research
Design
studio
Hypo-
teser
Experime
nt
Ut-
veckling
Utvärderi
ng
Beställnin
g

“Jag fredagshackade
rekommendationer i
slutskärmen”

Research
Design
studio
Hypo-
teser
Experime
nt
Ut-
veckling
Utvärderi
ng
Beställnin
g
Initiativ i
teamet

Design
studio
Hypo-
teser
Experime
nt
Ut-
veckling
Utvärderi
ng
Beställnin
g
Initiativ i
teamet
Research

Hur mycket research?
Tillräckligt mycket för att
kunna formulera tillräckligt
pricksäkra hypoteser

Övning:
Ta fram två mätbara mål som ni tror
är relevanta för SVT Play.
minuter.

Vilken
enhet man
använder?
Var i landet
man bor?
Tidpunkt
man
använder
tjänsten?
Tidigare
beteende?
Innehållet
man tittat
på just nu?
Vad kan påverka anpassning?
När är skillnaden så stor att anpassning av gränssnitt och
innehåll kan leda till bättre måluppfyllnad?

Var finns potentialen att förbättra relevansen?
Vi vill lägga tid och resurser där det ger bäst effekt. Det är ingen
idé att personalisera och anpassa där effekten är liten.
Startsidan?
Mobila
enheter?
Video-
sidan?
Slut-
skärmen?
Sök?
Barn?

Övning:
Var i tjänsten - på vilka vyer - tror ni
att potentialen finns till att öka
videostarter?
Diskutera i grupper om fyra i fem
minuter.

Listvisningar
15 186 320
Listklick
1 533 000
Videostarter (4,04%)
613 060
10,1% 40,0%
Exempel: Sista chansen

# LISTA STARTADE MINUTER
1 Startsida - Skyltfönster 19 642 380
2 Startsida - Populärast just nu 15 393 240
3 Startsida - Senaste program 12 186 140
4 Video - Mer från Barn 7 248 300
5 Startsida - Sista chansen 5 969 020
6 Nyheter - Senaste riksnyheter 5 114 080
7 Film & Drama - Skyltfönster 4 548 080
8 Startsida - Senaste nyheter 3 324 520
9 Video - Mer från Film & Drama 2 446 900

Beställnin
g
Initiativ i
teamet
Hypo-
teser
Experime
nt
Ut-
veckling
Utvärderi
ng
Research
Design
studio

Design studio
● Tvärfunktionellt
● 2-3 rundor
● Se upp för tendenser till att bli urvattnad
kommittédesign

Övning:
Brainstorma fram en idé som ni tror
kan öka antalet videostarter på SVT
Play.
Diskutera i grupper om tre i tio
minuter.

Beställnin
g
Initiativ i
teamet
Experime
nt
Ut-
veckling
Utvärderi
ng
Research
Design
studio
Hypo-
teser

Hypotes MVP och mätpunkter
Rekommendationer
Anpassning av rekommendationer på startsidan efter tidpunkt,
veckodag och enhet bör öka CTR och videostarter.
A/B-test där vi lägger till tema- och rekommenderatrader baserat
på tidpunkt, enhet och veckodag. Total CTR för startsidan bör öka
med minst 10%. Nya rader bör ha 5-7% CTR beroende på
placering. Videostarter 5% bättre än original.
Mer relevanta rekommendationer på videosidan ökar
videostarter och tittad tid
A/B-test där vi byter ut “Mer inom <kategori>”-listan med
rekommendationer baserat på verkligt sekvenstittande. Testa på
9 olika program i olika genres som är relevanta för målgruppen.
Testa på 2-3% av användarna. CTR bör vara 30% bättre än
original. Videostarter 10% bättre.
Anpassning av rekommendationer efter geografisk plats bör öka
videostarter och tittad tid.
Blockerad, extra research visar på liten potential.
Genom att pusha för Barnplay för användare som tittar mycket
på barnrelaterat innehåll kan vi ge dessa användare en bättre
upplevelse.
Använd local storage för att spara ner barntittande. Visa
playpushar i sök, start, videosida, titelsida samt kategorisidan för
barn. Konverteringsgrad (klick på push) bör vara 25%. För
återkommande “barnbesökare” bör konverteringsgrad vara 50%.
Testa på 5% av besökare under 1 månad.

Hypotes MVP och mätpunkter
“Personlig” funktionalitet
En yta på startsidan som visar senast sedda program bör öka CTR
samt videostarter.
Spara ner i local storage/kaka likt barnkanalen gör. Visa ny rad
under karusell. Validering: CTR > 5% + listan genererar 25% av
totala videostarter. Testa på 3% av användare under 1 månad.
En yta på startsidan som ger användaren möjlighet att fortsätta
att titta på ej avslutade program bör öka: CTR, videostarter samt
tittad tid.
Spara ner i local storage/kaka. Visa ny rad ovanför karusell.
Validering: CTR > 4% + klickkvalitet på 40%. Testa på 3% av
användare under 1 månad.
En “Visat”-markering på program som användaren tittat på bör
förbättra den personliga upplevelsen och leda till fler
videostarter.
Spara ner i local storage/kaka. 5% ökad total CTR i listor med
“Visat”-element jämfört med nuläge. Även konvertering från dessa
listor ska vara 5% bättre än nuläge. Testa på 3% av användare
under 1 månad.

Beställnin
g
Initiativ i
teamet
Ut-
veckling
Utvärderi
ng
Research
Design
studio
Hypo-
teser
Experime
nt

MVP
“Dumt” A/B-test
Bygg minsta möjliga
funktionalitet
Dölj/visa A/B-test
Validering

MVP
Bygg minsta möjliga
funktionalitet
Dölj/visa A/B-test
Validering
“Dumt” A/B-test

Hypotes:
“Anpassning av rekommendationer
på startsidan efter tidpunkt,
veckodag och enhet bör öka CTR och
antalet videostarter.”

Exits: 20% ← Minska
Program: 15%
Kanaler: 5%
Sök - autocomplete: 12%≈
Sök - resultatsida: 4%
Videosida: 34% ← Öka

Exits: 20% ← Minska
Program: 15%
Kanaler: 5%
Sök - autocomplete: 12%
Sök - resultatsida: 4%
Videosida: 34% ← Öka

● “Rader” / “Listor” har upp mot
25% CTR vid vissa tider och för
vissa enhetstyper.
● Potentialen?
● Huvudsaklig mätpunkt är total
CTR för alla listor. Tittar vi bara
på CTR för nya rader missar vi
eventuell kannibalism, d.v.s.
CTR-tapp på övriga rader.

Övning:
Diskutera vad som är det minsta vi
behöver bygga för att validera om det
finns någon potential i hypotesen.
Hur ska ni utvärdera?
minuter.

A: Original (24,6% CTR) B: Rekommenderat (25,0% CTR = +1,5%)
C: Film och drama (25,6% CTR = + 3,8%) D: TV-serier + Film (23,7% CTR = - 3,9%)

A: Original Totalt alla rader: 17,7% CTR. Nyheter: 3,6%
B: Egen nyhetsrad tidigt på morgonen Totalt alla rader: 19,7% CTR (+11,2%) Nyheter: 6,3% (+75%)

Resultat
● Rekommendationer som extra rad(er) ger 4-6% fler totalt antal klick på
innehåll i raderna på startsidan (från 20,45% till c:a 21,40% i aggregerad
CTR). Dock är den statistiska signifikansen låg till mycket låg.
● Originalet vann tre av nio test.
● Majoriteten av klick på nya rader kannibaliserar på klicken som sker på de
“gamla” raderna (poplärast, live, sista chansen, senast och nyheter)
● Den största skillnaden visades i nyhetstestet där klick på nyheter ökade
med 75%. Även aggregerad CTR för startsidelistor ökade med 11,2%.
● Näst bästa resultatet gav dokumentärer på nätter med 6,1%
förbättring av total CTR.

Resultat, forts.
● Listor används mycket mer sällan i mobile och tablet jämfört med
desktop
● Innehållet som ligger först i listorna, framförallt för mobile, påverkar
CTR för raderna
● Störst möjlighet att nå ut med pushat innehåll/rekommendationer verkar
vara kl 19-05 på vardagar i desktop.
● Två extra rader ger bäst total ökad CTR

Hypoteser som dykt upp
● CTR-ökningen för extra rader ligger i intervallet 4-6%. Med 50% konvertering på
videosidor motsvarar detta mellan 400 000 och 625 000 extra spelningar per år.
● Gissningsvis kannibaliserar en del av dessa extra spelningar på andra
spelningar som ändå skulle ha skett. D.v.s. all extra CTR kommer inte från
minskad avvisning/exits.
● Justerar man CTR-ökningen med 25% kannibalism motsvarar den uppskattade
ökningen mellan 160 000 och 220 000 extra tittade timmar per år.
● Rekommendation: Gå vidare med extra nyhetsrad kl 06-08 på morgonen. Bygg
gränssnitt för redaktörer som kan lägga till kluster/temarader vid behov. Bygg ingen
automatiserad lösning för optimering efter tidpunkt, enhet och veckodag.

A: Original Totalt alla rader: 17,1% CTR. Nyheter: 3,5%
B: Egen nyhetsrad tidigt på morgonen Totalt alla rader: 19,5% CTR (+12,2%) Nyheter: 5,8% (+54%)

Övning:
Varför ska en alltid genomföra
uppföljningstest?
Diskutera tre och tre i fem minuter.

Exempel på säsongsvariationer jag stöter på hos SVT
● Tittning på sport hänger helt ihop med rättigheter. T.ex. mycket vanligare
med sporttittning på helger under vintern p.g.a. Vinterstudion
● Begränsat utbud av drama under maj-augusti gör att tittningen går ner för
den här typen av innehåll
● Tablåanvändning peakar under julhelgerna
● Stora titlar som Julkalendern ger extra transittrafik till andra tjänster

Jämför med samma period tidigare år

Hantera säsongsvariationer
● Jämför med samma period tidigare år + justera för andra faktorer som kan påverka.
T.ex. organisk tillväxt, innehåll, kampanjer etc.
● Ha en tveksam inställning till uppdrag där du misstänker att säsongsvariationer
påverkar värdet du kan skapa med ditt analysarbete.
○ Du kan inte jämföra med tidigare år
○ Du ska genomföra A/B-test under perioder som inte är signifikanta för generella användning.
● Dra ut historisk data för lång tid tillbaka för att förstå kontext och bransch. Prata med
erfarna analytiker inom området.

Hypotes:
“En omdesignad toppkarusell, som
visar mer innehåll, kommer leda till
total ökad CTR (och videostarter) från
startsidan.”

ASYMMETRIC LIST (8)
ORIGINAL (8) TEASER GRID (4)

ASYMMETRIC LIST (8)
BÄST: +7,4% i total CTR

REKOMMENDERATRAD (8)ASYMMETRIC LIST (8)
ORIGINAL (8) TEASER GRID (7)TEASER GRID (4)

ASYMMETRIC LIST (8)
BÄTTRE: +1,4% i total CTR
REKOMMENDERATRAD (8)
TEASER GRID (7)

BÄTTRE: +3,4% i total CTR

BÄST: +7,0% i total CTR

Beställnin
g
Initiativ i
teamet
Utvärderi
ng
Research
Design
studio
Hypo-
teser
Experime
nt
Ut-
veckling

Beställnin
g
Initiativ i
teamet
Research
Design
studio
Hypo-
teser
Experime
nt
Ut-
veckling
Utvärderi
ng

Utvärdering över tid
● Se upp för kannibalism och suboptimering
● Bencha mot långsiktiga mål, t.ex. lojalitet
● Kontrollera eventuella säsongsvariationer
● Vänta ut förändringskurvan

Experiment: ökar “MENY” användning av mobilmeny?

I själva verket kan vi inte se någon positiv effekt för det övergripande målet

Exempel från ett pågående experiment som ser ut att gå bra

STEG 1
9,7%
(205 000)
100%
(2 100 000)

Dropoff: Antal besök som går vidare från startsidan genom tombolan

Exempel: CTR på löpet ökar ju mer
redaktionellt innehåll (lila) vi publicerar
Samtidigt leder redaktionellt innehåll till
lägre måluppfyllnad, jämfört med SVT
Play-puffar (gröna).

A: Original B: Under populärt
D: Över språk E: Utan historik
C: Flytta populärt och historik
längst ned

KPI:er A: Original B: Under populärt
C: Flytta populärt och
historik sist
Spenderad tid nya titlar/unik
besökare
00:15:18 0,00% 00:15:57 4,25% 00:18:15 19,28% 00:17:39 15,36% 00:18:19 19,72%
Besök/unik besökare 3,98 0,00% 3,97 -0,28% 4,00 0,45% 3,94 -1,10% 3,93 -1,23%
Bounce rate 15,37% 0,00% 15,65% 1,82% 15,30% -0,46% 15,35% -0,13% 15,44% 0,46%
SÄMST BÄST

Vikt KPI:er A: Original B: Under populärt
C: Flytta populärt och historik
sist
1,6 Spend. tid nya titlar/unik besökare (tt:mm:ss) 00:15:18 0,00% 00:15:57 4,25% 00:18:15 19,28% 00:17:39 15,36% 00:18:19 19,72%
1,5 Besök/unik besökare 3,98 0,00% 3,97 -0,28% 4,00 0,45% 3,94 -1,10% 3,93 -1,23%
1,4 Bounce rate 15,37% 0,00% 15,65% 1,82% 15,30% -0,46% 15,35% -0,13% 15,44% 0,46%
1,4 Spenderad tid nya titlar/besök (tt:mm:ss) 00:03:50 0,00% 00:04:01 4,78% 00:04:33 18,70% 00:04:26 15,65% 00:04:39 21,30%
1,3 Nya titelstarter/unik besökare 2,57 0,00% 2,69 4,39% 3,04 18,07% 2,92 13,56% 3,10 20,52%
1,3 Nya titelstarter/besök 0,65 0,00% 0,68 4,64% 0,76 17,65% 0,73 13,62% 0,79 22,14%
1,0 Spenderad tid/besök (tt:mm:ss) 00:26:27 0,00% 00:26:23 -0,25% 00:26:29 0,13% 00:26:42 0,95% 00:26:19 -0,50%
1,0 Spenderad tid/unik besökare (tt:mm:ss) 01:45:20 0,00% 01:44:47 -0,52% 01:45:58 0,60% 01:46:22 0,98% 01:43:29 -1,76%
0,8 Videostarter/besök 4,32 0,00% 4,29 -0,83% 4,28 -1,02% 4,35 0,69% 4,36 0,83%
0,8 Videostarter/unik besökare 17,21 0,00% 17,02 -1,10% 17,12 -0,55% 17,34 0,73% 17,14 -0,41%
Score 65 51 100 100 89
Viktad score 58 50 100 90 86
SÄMST BÄST

Risker med suboptimering
● Nya features och nytt innehåll leder till beteende som påverkar de
övergripande målen negativt.
○ Det kan handla om att ny funktionalitet lockar till sig klick och beteende som
sedan leder till hög exit rate.
○ Samtidigt som produktens mål är att jobba för ökad time spent.
○ Den nya funktionaliteten kan också skapa sämre lojalitet till produkten
jämfört med annan funktionalitet.

Hur påverkar en ny feature övriga videokontexter?

Hantera kannibalism
● Inta en skeptisk hållning
○ Även om ditt experiment visar på bra resultat kanske det bara flyttar
användning från ett ställe till ett annat.
○ Vanligt när en lägger till eller flyttar liknande element
● Var noggrann med att mäta användning av alla element för att se hur
klick flyttas, ökar eller minskar. Bencha mot övergripande mål.

Exempel: Gör du en förändring i en
lista/element på Barnplays startsida behöver
du också - detaljerat - mäta alla andra
konkurrerande element

Efter tre dagar har variationerna samma resultat:

Efter tre, fyra dagar har variationerna samma resultat:

Förändringskurvan
● Användarnas change curve kan variera beroende på en rad faktorer.
○ T.ex. andel lojala användare och hur stor förändringen är.
● Försök förstå hur förändringskurvan ser ut för din produkt.
○ Titta på historiska releaser (och ta med säsongsvariationer i analysen)
○ Prata med erfarna analytiker som kan branschen/produkten
● Vänta in statistisk signifikans över 95%
○ Vid vissa förändringskurvor kan signifikansen gå upp över 95% för att
sedan backa tillbaka.

Exempel:
Att följa upp innehåll på Barnkanalen

BETYG:
Räckvidd + tittad tid + lojalitet. Lysande
stjärna = pris är inräknat i betyget.
SEGMENT:
Räckvidd + tittad tid + lojalitet + pris för
att generera en tittad timma
TILLGÄNGLIGHET:
Andel veckor som titeln genererat minst 100 unika startare. Alla siffror (förutom säsongsbetonade titlar som Julkalendern och
Sommarlov) är justerade till 100% tillgänglighet. Detta gäller inte unika besökare som skulle bli orimligt många.

Egenprod Inköp
Titlar i Barnplay 2017
Högpresterande och billigt
Högpresterande men dyrt
Lågpresterande, dyrt
innehåll
Lågpresterare men billigt

Titlar i Barnplay 2017
Högpresterande innehåll: Behåll, köp
in/utveckla liknande innehåll samt i
vissa fall exponera mer.
Dyrt men bra: Förhandla pris/rättigheter
eller se över budget för egenprod.
Lågpresterande och dyrt.
Överväg att avveckla de
titlar som fått många
chanser för exponering.
Lågpresterare men billigt. Nischat eller
impopulärt och billigt. Har ev
potential att skapa värde vid hög
grad av personalisering. Fungerar
inte det är innehållet förmodligen ej
efterfrågat.
I mitten

Det hemsökta huset
100 saker att göra innan high school +
Pepparkornen

Summering process för
produktutveckling

Övning:
Gå igenom följande case och
diskutera vilken/vilka aktiviteter som
är mest lämpliga.
I grupper om tre i fem minuter

Case Förstudie A/B-test Köra på
Flytta tv-tablån på SVT.se till svtplay.se
Byt position och färg på Play-knappen i videospelaren
Byt typsnitt från Helvetica till Roboto
Börja med autostart av videos
Börja med personaliserade tips/rekommendationer
Ta bort funktioner som filter och sortering på listsidor
Gör logotypen större
Byt namn på rubriker i huvudmenyn
Ändra sorteringsordning av episoder på videosida
Ändra utseende på delaknappar

Del 3: Exempel på
verktyg
Monitorering, analys och visualisering

Del 4: Summering
Råd och tips

Kom ihåg att du främst
jobbar med
förändringsledning.

Det var mycket roligare innan
vi började med datadriven
utveckling. Nu skickar jag
bara saker till ett system.”
”

Jobba långsiktigt mot låg
kostnad för att testa
hypoteser.

Ta fram - och håll fast vid -
disciplinerat enkla koncept.

Prata om hypoteser och
osäkerhet istället för krav.

Prioritera backlog och
experiment efter vad
teamet lär sig mest på.

Kommunicera lärande
istället för features

Kommunicera lärande
istället för funktioner och
innehåll (speciellt i
demosammanhang)

Använd data för att öka
pricksäkerheten i dina
hypoteser.

Använd data för att
uppskatta potentiella
effekter.

Använd data för att ta
kontroll över produkt- och
innehållsutvecklingen.

Använd data för att
minimera waste.

Använd data för att lyfta
krav-, koncept-, och
innehållsdiskussioner till en
mer rationell nivå.

Övning till nästa vecka:
Vad krävs av min organisation i form
av verktyg, trafik, kultur, mätpunkter
etc för att börja jobba datadrivet?

Tack!
daniel@superconfidence.se
@joopey
medium.com/daniel-hansson

Grunderna i datadriven utveckling

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Grunderna i datadriven utveckling

Semelhante a Grunderna i datadriven utveckling (20)

Grunderna i datadriven utveckling