Conférence de Philippe Yonnet, CEO de Neper, au SEO Campus 2021. Les split tests pour le SEO sont différents des tests A/B traditionnels sur plusieurs points, et font appel à des méthodes statistiques différentes

1. Apprenons à Faire des SEO Split Tests
Philippe YONNET, CEO Neper

2. Where Search Marketing meets
Science

3. Paris 2021 #seocamp
Rejoignez nous !
Et abonnez-vous à notre newsletter

4. Apprenons à faire des SEO Split
tests
Pour vérifier l’impact SEO des changements
sur un site

5. Paris 2021 #seocamp
Plan de mon intervention
Quelques définitions et rappels
Quel est l’intérêt de faire des split tests pour le SEO
Les spécificités des SEO Split tests par rapport à du testing A/B classique
Comment construire les tests ?

6. Quelques définitions

7. Paris 2021 #seocamp
Test A/B
Test de comparaison entre une version différente B et une version de référence A

8. Paris 2021 #seocamp
Split testing
Test A/B, mais entre deux versions complètes d’une page
C’est ce que l’on veut faire ici : comparer les performances d’un modèle de page avec un modèle nouveau,
comportant une série de changements, parfois importants

9. Paris 2021 #seocamp
Test MVT
On teste plusieurs changements sur plusieurs fonctionnalités
Test multivarié : Multi-Variate Testing

10. Paris 2021 #seocamp
Attention aux tests MVT
On teste plusieurs changements à la
fois
Permet de limiter le travail de test
Par contre il faut un trafic énorme pour
que les résultats deviennent significatifs
avant que l’environnement change
suffisamment pour rendre vos résultats
caducs
Les résultats sont souvent sujets à caution

11. Paris 2021 #seocamp
Au fait, comment faire de l’A/B testing sans générer de
problèmes de SEO
Pas de cloaking : ne dissimulez pas vos pages
de test
Pensez à mettre des link rel=« canonical » pour
éviter que vos contenus soient pris pour des
doublons
Si redirections, utilisez des 302 et non des 301
Limitez la durée du test
Un test trop long sera interprété comme une
tentative de manipulation
https://developers.google.com/search/docs/ad
vanced/guidelines/website-testing

12. Pourquoi faire des split tests pour le
SEO ?

13. Paris 2021 #seocamp
L’algorithme de classement de Google a changé
Le machine learning envahit l’algo
de Google
Les scores tiennent compte de
nombreux signaux à la fois
Pour améliorer ses positions, il n’y
a plus de « magic bullet »
Panda, Penguin, Quality Updates : pour
regagner des positions, il faut agir sur
un ensemble de facteurs
La réponse doit être « holistique »
En anglais on dirait « a kitchen sink
approach »

14. Paris 2021 #seocamp
Les SEOs doivent devenir humbles…
Et comprendre ce qu’il y’a
derrière les Core Updates est
devenu un challenge
Impact de « Medic »
Pourquoi le site a été impacté ?
Pourquoi est-il remonté ???
Impact de la Google Core
Update de juin
Même chose : beaucoup de sites
impactés, injustement selon leurs
propriétaires
Liés aux critères EAT mais quels
signaux sont utilisés ?
Les recettes de cuisine ne marchent plus à tous les coups !

15. Paris 2021 #seocamp
Un peu de rigueur en SEO ne fait pas de mal
Beaucoup de choses peuvent améliorer le
trafic SEO sans que le travail du SEO y
soit pour grand-chose
Saisonnalité
Hausse du nombre de requêtes
Le concurrent qui fait une bêtise sur son site
Changement d’algo chez Google
Hausse de l’inventaire des pages
Changement de l’apparence de la page de
résultats sur Google
Etc.
Par conséquent, identifier les causes des
changements est clé
Les résultats obtenus sont-ils vraiment imputables au travail sur le SEO ?

16. Paris 2021 #seocamp
La même optimisation sur deux sites peut produire des
résultats très différents
Site A Site B

17. Paris 2021 #seocamp
L’impact de changements importants est plus difficile à
prévoir
Dans certains cas, certaines
optimisations qui paraissent être
de bonnes idées vont faire
ressembler votre site aux sites
dont Google veut se débarrasser !
Ce que le spécialiste SEO attendait…
Ce qui s’est réellement passé !

18. Paris 2021 #seocamp
Euh… qu’est-ce qui se passe avec ma version optimisée ?
WTF ? On rectifie le tir, vite …
Ouf ! Hémorragie stoppée
Ah non, mais c’est pas possible
Chouette ! Le traffic revient remonte…

19. Paris 2021 #seocamp
Il ne faut souvent pas grand chose
Les scores calculés via machine learning
ne sont pas parfaits
Ils essaient de répliquer les décisions des
humains, mais exploitent d’autres signaux
pour y parvenir
Il y’a de faux positifs
En essayant d’optimiser un signal, on
peut se retrouver automatiquement
déclassé !
Cela ne serait peut être pas arrivé en
optimisant d’autres signaux en même temps
Ou même en désoptimisant la page !
Il ne faut pas ressembler à des sites pourris…
Pages KO
Pages OK
Faux positif
Page OK,
classifiée
comme KO
après le
changement

20. Les particularités du split testing
pour le SEO

21. Paris 2021 #seocamp
Comment ça marche ?
Suivant les urls appartenant à un template, on envoie la version A ou la B
Pages produits
Pages
en test
Cohorte de référence

22. Paris 2021 #seocamp
La durée du test
Il faut attendre au moins la « fenêtre
de crawl + deux semaines »
En réalité, certains signaux mettent
jusqu’à six mois à se calculer
Fenêtre de crawl : délai nécessaire
pour que Googlebot ait recrawlé 90%
des pages actives
Cela se mesure par une analyse de logs
Il doit durer suffisamment pour que l’impact soit complètement visible

23. Paris 2021 #seocamp
Le test doit être parfaitement crawlable
Ce n’est pas du cloaking (cf définition),
le bot voit (et doit voir) la même
version que les utilisateurs
Attention : si votre version test est
pourrie, elle impactera votre trafic SEO !
Les tests se font sur un nombre limité d’urls,
mais suffisant pour mesurer l’impact de la
version testée
« Better safe than sorry ».
Pensez à canonicaliser la version test vers la
version « normale » au cas où votre dispositif
d’aiguillage vers le template de test serait
défaillant
Donc le test sera aussi indexé !

24. Paris 2021 #seocamp
Du coup, utiliser GTM n’est pas toujours une bonne idée …
SEO split tests avec GTM : uniquement
si les temps de rendition sont bons !
Le problème c’est le temps mis par
GTM pour générer le contenu du test
S’il y’a des « time outs »
(dépassement du temps max dont
dispose le bot pour attendre la
rendition du contenu), le test ne sera
pas concluant
Or il est fréquent d’attendre de
nombreuses secondes avant que
GTM ne finisse de s’exécuter

25. Paris 2021 #seocamp
Même chose pour votre outil d’A/B testing habituel
Il faut utiliser des outils « server
side »
Sauf exception…

26. Paris 2021 #seocamp
La manière de vérifier la confiance est différente
Dans une approche A/B test
classique, il y’a deux hypothèses
cachées :
On raisonne à partir de moyennes, et
pendant le test, la temporalité n’a pas
d’importance
Le test est suffisamment court pour que
des changements externes ne viennent pas
brouiller le test en prenant le pas sur les
changements du test
Imaginez l’impact d’un changement brutal
d’origine du trafic sur un test A/B !
Les meilleurs résultats de la version B sont ils dûs
aux changements sur B, ou au changement de
trafic ?
Les statistiques à utiliser ne sont pas les mêmes du tout !

27. Paris 2021 #seocamp
Pour un test A/B SEO, ces hypothèses ne tiennent pas
Méthodes utilisables : méthodes
d’inférence causales
DID : méthode des doubles différences
Causal Impact (inventée chez Google)
Contrôle synthétique
Il faut tenir compte de l’influence des changements externes

28. Paris 2021 #seocamp

29. Comment construire le test
dans un SEO split test

30. Paris 2021 #seocamp
Les prérequis
Pages en test crawlables
Tests bien « étanches » : attention à
ce qu’il n’y ait pas de trafic sur
d’anciennes urls
D’où l’intérêt de ne pas toucher aux urls
pour faire le test
Tracking parfaitement en place et
fiable
En général, on mesure le trafic Seo,
l’information peut venir de l’outil de web
analytics, de la Search Console, ou des
logs

31. Paris 2021 #seocamp
Bien préparer le test
Vous pouvez (devez) tester plusieurs optimisations à la fois
Par contre, ces changements doivent affecter des types de pages homogènes :
Pages articles, pages marques, pages catégories, pages produits, pages listings…
Evitez de faire des changements impactant toutes les pages
Cela empêche d’avoir un vrai groupe de contrôle, la vérification des causes du changement (inférence
causale) sera moins fiable
Vous avez besoin de groupes de contrôle de taille suffisante
Vu le nombre de variables en jeu, dans la pratique, les tests requièrent des milliers de page
Attention à bien définir le « changement »

32. Paris 2021 #seocamp
Test en dynamic serving
Méthode utilisée habituellement
pour gérer deux versions : mobile vs
desktop, avec une seule url
En dynamic serving, la redirection se
fait de manière invisible pour
l’utilisateur
Le redirecteur peut-être un boîtier
physique (load balancer, HAproxy),
un reverse proxy (Varnish, Squid,
Nginx)
Redirection vers un serveur web bis ou un autre template
/template-
test/page.php?product=12348
Une seule
syntaxe d’urls
vue par
l’utilisateur
Redirecteur :
boîtier
physique ou
logiciel
url à tester ?
/template-
normal/page.php?product=12
347
NON
OUI

33. Paris 2021 #seocamp
Test via le CDN
On fait réécrire les urls par les
fonctions avancées des CDN
En utilisant une Regex
Via un service worker et un bout de
logiciel
Exemple :
Forward Rewrite : Akamai
Page Rules et url forwarding
On se sert des fonctions avancées des CDN

34. Interpréter les résultats des tests

35. Paris 2021 #seocamp
Mesurer les résultats
Les données brutes peuvent être
extraites de vos outils habituels
Google Analytics
Attention à bien séparer les urls de test des
autres
Un taggage spécial est recommandé
Search Console
Filtrer à l’aide du path est facile, mais ne sera pas
toujours possible
Sinon on filtre à l’aide d’un fichier de référence
Logs
Même chose que pour la GSC

36. Paris 2021 #seocamp
Important : vérifiez l’inférence causale
Sinon vos conclusions risquent d’être fausses

37. Paris 2021 #seocamp
Le principe : on construit un modèle de prévision

38. Paris 2021 #seocamp
On compare les données réelles et la prévision
Orange : le modèle, bleu : les données réelles, vert : l’impact (la différence entre réalité et modèle)

39. Paris 2021 #seocamp
Identifier la probabilité d’une causalité
On introduit dans le modèle des données de groupes de contrôles
Par exemple, les données de trafic des concurrents
Si tout le monde voit son trafic SEO augmenter, et le vôtre aussi, l’impact du changement de template
sera évalué comme non probant
Si tout le monde voit son trafic baisser, mais pas vous, alors l’impact du changement de template sera
évalué comme probant comme facteur d’explication

40. Paris 2021 #seocamp
On obtient ce genre de courbes qui sont faciles à
interpréter (avec de l’habitude)
En haut : les données brutes
Y = données réelles
Courbes en tirets : les données du
modèle
En violet : la marge d’erreur
Au milieu : l’évolution de
l’impact (différence entre réel et
modèle contrefactuel)
A la fin : l’effet cumulatif
Au début l’impact est négatif puis
devient clairement positif

41. Paris 2021 #seocamp
Ce type de stats a été massivement utilisé pour identifier
l’impact des politiques publiques sur la COVID 19

42. Paris 2021 #seocamp
Il existe des outils pour faire de l’A/B testing SEO
Searchpilot.com
Ex Distilled ODN
SEOscout.com
Ex ABRankings
Seotesting.com
Rankscience.com
Clickflow.com
Remarque : à part SearchPilot,
la vérification de la probabilité
d’inférence causale est… un
peu légère sur ces outils
Il en sort un tous les 6 mois à présent

43. Paris 2021 #seocamp
Semrush Split Signal
Encore en bêta privée, mais bientôt lancé sur le marché US

44. Paris 2021 #seocamp
Une interface très simple pour élaborer des tests

45. Quelques exemples de résultats obtenus
Quel est l’impact d’enlever les textes SEO des pages listings d’un site
ecommerce ?
Dans le cas testé : impact positif, le changement semble en être la cause
Quel est l’impact d’ajouter des mots clés SEO dans les balises d’un site ?
Dans le cas testé : impact clairement négatif, le changement semble en être la cause
Quel est l’impact d’un changement sur l’optimisation des images (balises
alt, etc.)
Dans le cas testé : aucun impact clair mesuré, on ne se prononce pas
Quel est l’impact d’un changement de layout de page produits sur un site
ecommerce ?
Dans le cas testé : impact positif mesuré, mais la cause n’est pas le changement de layout !

46. Jouons un peu
Impact de la migration d’un site en AngularJS sur une version SSR ?
Positif, négatif ou neutre ?
Réponse : rien de mesurable !
Ajouter plus de liens suggérés en regard d’une page de contenu
Positif, négatif ou neutre ?
Réponse : gros impact positif attribuable au changement
Ajouter des données structurées et avoir des rich snippets ?
Positif, négatif ou neutre ?
Réponse : bof, pas de changement mesurable vs le modèle
Mettre la marque au début du title ?
Positif, négatif ou neutre ?
Réponse : impact positif, cause : le changement
CONCLUSION : difficile de prédire l’impact d’un changement en SEO en 2021,
cela dépend trop des sites et du contexte, le mieux c’est de tester pour voir ce qui
marche dans un cas particulier
Notez que ces tests ne sont valables que pour un contexte donné ! N’en tirez pas des
enseignements généraux cela n’a pas de sens

47. Conclusion
Les SEO split tests sont une approche nouvelle mais terriblement efficace
pour valider ce qui marche ou non en SEO dans un contexte particulier
Il existe des spécificités pour créer vos tests par rapport à de l’A/B testing
traditionnel
Il faut utiliser des modèles statistiques appropriés : l’objectif est de savoir
si vos pages optimisées sont vraiment la cause de l’impact sur le trafic ou
la visibilité
Mesure de l’impact d’une cause, et de la probabilité de l’existence d’une relation de causalité
Cela demande de solides connaissances en statistiques
Mais heureusement, des outils arrivent pour faire cela
Ou vous pouvez demander à notre agence de faire les analyses pour vous

48. Merci
48
Search Marketing is rocket science

49. Question Mug
Paris 2021
#seocam 49