David Brenner na konferenci SEO Restart 2019. SEO testy – ty přece děláme všichni. Jak na jejich přípravu a vyhodnocování, abychom z nich dostali maximum?

1. Testování v SEO
David Brenner

2. Indexují vyhledávače obsah pole
Meta Description?

4. Proč testy v SEO děláme?
Co a jak testujeme
Příprava testu
Nasazení testu
Vyhodnocení testu
O čem budu mluvit

5. Proč testovat?
Domněnky
Prioritizace
Argumenty
Interpretace

7. Co testujeme
Funguje to?
Roste to?

8. Proč testovat s referenčním vzorkem
Sezónnost
Trendovost
Životní cyklus produktu
Celkový růst / propad
Aktivity konkurence
Změny algoritmů

9. UX vs SEO

10. Co budeme sledovat a měřit
Hlavní metriky
Návštěvnost vstupních stránek
Pozice na klíčová slova (pro konkrétní vstupní stránku)
Imprese vstupních stránek
Změna vstupní stránky
Další:
Míra prokliku (CTR)
Míra konverze
Tržby na návštěvu
Bounce rate
Doba trvání návštěvy

11. Nástroje
Měření
Interní měření
GA
GSC
Collabim
Marketing Miner
Vyhodnocování
Google Data Studio
Power BI
RStudio
Další
Google Trends

12. Výběr datasetu, na kterém budeme testovat
Podmínky
• Dostatečně velký
• Dostatečně velké metriky
• Jedna položka není součástí více testů
• Minimální vliv sezónnosti a trendovosti
• Podobné fáze životního cyklu produktu
Referenční vzorek by měl mít podobné parametry jako
testovací.

13. Rozdělení datasetu na dva podobné
https://github.com/dejfnn/rozdeleni-datasetu

16. Nasazení testu
Podmínky Realizace
Mám přístup ke zdrojovému kódu nebo CMS Nasadím si sám
Web spravuje webmaster Podrobné zadání pro webmastera
Ke zdrojovému kódu ani k obsahu nemám
přístup, web mi spravuje externí firma
Nástroje třetích stran

17. ODN distilled network
https://odn.distilled.net/

18. Cloudflare workers
Změna šablon titulků a metapopisků
Další onpage změny
Strukturovaná data
Editace robots.txt
Přesměrování
(self)kanonizace
Hreflangs
Stavové kódy

19. Cloudflare workers - ukázka

20. Odeslat do indexů

21. Odeslat do indexů

22. Dávkově odeslat do indexů
Google Inspection tool automatization
https://www.searchenginejournal.com/automate-url-
inspection-tool-python-javascript/301639/
Seznam Indexer
https://jakdelatseo.cz/seonastroje/seznamindexer/

23. Vyhodnocení testů

24. Collabim – historie klíčových slov

25. Google Data Studio

26. Vizualizace – Causal Impact v RStudiu
https://github.com/zatkoma/split-testing-app
• Knihovna od Google
• Zjišťování míry dopadu
provedených změn

27. Vizualizace – Causal Impact v RStudiu
https://github.com/zatkoma/split-testing-app

28. Výsledek – Causal Impact v RStudiu
Analysis report {CausalImpact}
During the post-intervention period, the response variable had an average value of approx. 1.98K. By contrast, in the absence of an
intervention, we would have expected an average response of 1.51K. The 95% interval of this counterfactual prediction is [1.36K, 1.66K].
Subtracting this prediction from the observed response yields an estimate of the causal effect the intervention had on the response variable.
This effect is 0.47K with a 95% interval of [0.32K, 0.62K]. For a discussion of the significance of this effect, see below.
Summing up the individual data points during the post-intervention period (which can only sometimes be meaningfully interpreted), the
response variable had an overall value of 93.19K. By contrast, had the intervention not taken place, we would have expected a sum of
70.88K. The 95% interval of this prediction is [63.92K, 78.01K].
The above results are given in terms of absolute numbers. In relative terms, the response variable showed an increase of +31%. The 95%
interval of this percentage is [+21%, +41%].
This means that the positive effect observed during the intervention period is statistically significant and unlikely to be due to random
fluctuations. It should be noted, however, that the question of whether this increase also bears substantive significance can only be answered
by comparing the absolute effect (0.47K) to the original goal of the underlying intervention.
The probability of obtaining this effect by chance is very small (Bayesian one-sided tail-area probability p = 0.001). This means the causal
effect can be considered statistically significant.
https://github.com/zatkoma/split-testing-app

29. Další doporučení
• Sledujte nejen průběh metriky před a po testu, ale
srovnávejte i meziročně. Pokud to dává smysl.
• Sledujte výsledky i kvalitativně. Jak se změnily metriky
konkrétních položek.
• Kontrolujte nejen absolutní růst / propad jedné měřené
skupiny oproti druhé, ale také kolik položek rostlo a
kolik se propadlo.
• Odebírejte jednotlivé extrémy, které nepřiměřeně
ovlivňují výsledky pro celou skupinu.

30. Komplikace - proměnlivé podmínky
• Změny v algoritmech
• Aktivity konkurence
• Změny na vzorku během testování (zánik stránek,
obsah generovaný uživateli)
Jak tomu předcházet? Dělat testy opakovaně a na
různých datasetech.

31. Komplikace - špatně nastavené měření testů
• Malý vzorek dat
• Metriky na hranici měřitelnosti
• Pozdní měření (pozice, vstupní stránky)
• GSC poskytuje užitečné údaje hlavně pro první stránku
v SERPu

32. Shrnutí
1) Testujte!
Nástroje:
• Seznam Indexer
• Rozdělení datasetu na dva podobné
• RStudio Causal Impact pro SEO testování

33. We are hiring!

34. David Brenner
SEO Specialista
E-mail: david.brenner@firma.seznam.cz
Tel.: 724 443 619
Twitter: @dejfnn
Kontakt