1. Jak nastartovat program
optimalizace webu
Jiří Brázda
10. 11. 2010

2. … a jak to určitě nedělat
Jak nastartovat program optimalizace webu | www.optimics.cz 2

3. Kritika A/B testování
 Testujeme náhodné věci, nikoliv hypotézy
 Testujeme na všech návštěvnících, nikoliv na
konkrétních segmentech návštěvníků
 Testujeme věci, které nemají reálnou hodnotu
pro zákazníka ani pro business
Jak nastartovat program optimalizace webu | www.optimics.cz 3
První test často nepřinese nic zásadního a testování je organizací
na další období zamítnuto jako neefektivní metoda.

4. Jak ještě zvětšíte a zvýrazníte tlačítka?
 A když bude celý web jedno velké tlačítko,
pomůže to businessu?
Jak nastartovat program optimalizace webu | www.optimics.cz 4

5. Jak nastartovat program optimalizace webu | www.optimics.cz 5

6. Jak nastartovat program optimalizace webu | www.optimics.cz 6

7. Doporučené čtení
 Kritika procesu online testování a segmentace
– http://semphonic.blogs.com/semangel/2010/10/testing-and-web-analytics-
thoughts-from-x-change.html
 Kritika přístupu k multivariantnímu testování
– http://semphonic.blogs.com/semangel/2010/10/multivariate-testing-
thoughts-from-x-change.html
 Kritika testování věcí s „krátkým poločasem rozpadu“
– http://blog.minethatdata.com/2010/08/testing-half-life.html
 Gartner/Omniture/Experian: Organizační připravenost
na testování a optimalizaci
– http://www.omniture.com/offer/760
 DELL: Jak to dělají v DELLu
– http://www.managinganalytics.net/2010/10/08/from-good-to-great-our-
keynote-presentation-in-emetrics/
Jak nastartovat program optimalizace webu | www.optimics.cz 7

8. 5 věcí, které jsme udělali špatně

9. Případová studie Kentico
www.optimics.cz/reference/pripadova-studie-kentico
Jak nastartovat program optimalizace webu | www.optimics.cz 9

10. 1) Něco jsme implementovali bez testu
 Často u nové zakázky hned vidíme mnoho
věcí, u kterých jsme můžeme téměř s 100%
jistotou tvrdit, že povedou ke zlepšení
 Implementovali jsme mnoho změn napřímo v
krátkém čase (na celý projekt jsme měli asi
měsíc – do WebExpo 2009)
 Zlepšení (lift) jsme mohli odvozovat pouze ze
změny dlouhodobého trendu
Jak nastartovat program optimalizace webu | www.optimics.cz 10

11. 2) Připravili jsme obrovský MV test
 Původně jsme chtěli testovat mnohem více
elementů na homepage
 V Google Website Optimizer (full factorial
model) by ten test běžel snad 200 dnů
 Test jsme proto
museli ořezat
Jak nastartovat program optimalizace webu | www.optimics.cz 11

12. 3) Testovali jsme bezvýznamné věci
 Udělali jsme mnoho změn mimo test, které
přinesli fantastický výsledek
– Větší fokus na trial + schování free verze
– Mnohem méně komplikací při registraci
– Více prostoru pro produktové benefity a nezávislé
hodnocení
 Zpětně si myslím, že testování barvy tlačítka
není podstatné (jiná barva nepřináší žádnou
dodatečnou hodnotu nebo užitek)
Jak nastartovat program optimalizace webu | www.optimics.cz 12

13. Co tedy testovat?
 Jeden ukázkový framework:
Jak nastartovat program optimalizace webu | www.optimics.cz 13

14. Př. Jak zhoršit(!) noviny?
Jak nastartovat program optimalizace webu | www.optimics.cz 14

15. 4) Hodnotili jsme jen jedinou metriku
 Zvýšili jsme počet leadů z webu, ale zvýšili jsme
zisk? Můžeme jen hádat, protože nevíme, které
leady vedou k uzavření obchodu
 Zvyšování prodeje lze často docílit poměrně
snadno (např. doprava zdarma nebo Slevomat),
ale má to dva háčky:
– zvýšení je často jen dočasné
– nevíme, zda taková akce povede k vyšší ziskovosti na
zákazníka v dlouhém období, tj. zda nový zákazník
bude opakovaně nakupovat
Jak nastartovat program optimalizace webu | www.optimics.cz 15

16. 5) Jednalo se o jednorázovou akci
 Neměli jsme připravený žádný dlouhodobý
plán rozvoje, další hypotézy, které bychom
chtěli testovat
 Neměli jsme tak alokované zdroje u klienta,
priorita testování klesala pod prioritu
operativy, rozvoje produktu a dalších
 Bez dlouhodobého plánu snadno ztratíte
vlastní směr a podporu organizace – zejména
když první test nepřinese zvýšení o 2500%
Jak nastartovat program optimalizace webu | www.optimics.cz 16

17. Doporučení
 Připravte si plán na min. 6 měsíců (budget,
zdroje, očekávání)
 Připravte si hypotézy, které chcete testovat,
testujte věci, které mají přínos pro zákazníka
 Prioritizujte, postupujte v iteracích,
dokumentujte každý test
 Začněte v malém, učte se z výsledků předchozích
testů
 Vyhodnocujte změny v dlouhém období, zejména
se zaměřte na hodnotu a ziskovost zákazníka
Jak nastartovat program optimalizace webu | www.optimics.cz 17

18. twitter.com/jiribrazda
jiri.brazda@optimics.cz
(+420) 602 345 620