O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
Benchmark des solutions
d’A/B Testing
2Copyright © Cartelis. All rights reserved.
Sommaire
A Contexte et enjeux
B Synthèse des résultats
C Zoom sur les cas d’us...
A
Contexte et enjeux
4Copyright © Cartelis. All rights reserved.
Objectif & Méthodologie du benchmark
Nous avons comparé les 4 solutions d’A/B ...
5Copyright © Cartelis. All rights reserved.
Les solutions d’A/B Testing utilisées
• Date de création : 2008
• Prix minimal...
6Copyright © Cartelis. All rights reserved.
Benchmark réalisé sous le prisme de 4 cas d’usage
#1 - Modification de la
coul...
B
Synthèse des résultats
8Copyright © Cartelis. All rights reserved.
Réalisation des tests
#1 : Modification de la couleur d’un bouton
#2 : Modific...
9Copyright © Cartelis. All rights reserved.
Comparaison des fonctionnalités 1/2
Editeur visuel simplifié
Mode recette inté...
10Copyright © Cartelis. All rights reserved.
Comparaison des fonctionnalités 2/2
Capping (arrêt du test dès que le nombre ...
11Copyright © Cartelis. All rights reserved.
Comparaison des performances techniques
Poids du script
82,3kb 51.7kb 91kb 40...
12Copyright © Cartelis. All rights reserved.
Synthèse globale
Synthèse Tests
++ +++ - ++
Simplicité
+++ +++ - +++
Fonction...
13Copyright © Cartelis. All rights reserved.
Conclusion
• Aucune connaissance en HTML / CSS
requise
• Solution à la fois s...
14Copyright © Cartelis. All rights reserved.
Conclusion 2/2
Finalement, le choix de la solution dépend avant tout de votre...
C
Zoom sur les cas d’usage
#1 – Modification de la couleur d’un bouton
17Copyright © Cartelis. All rights reserved.
#1 – Modification de la couleur d’un bouton - A/B Tasty
Simplicité pour accéd...
18Copyright © Cartelis. All rights reserved.
#1 – Modification de la couleur d’un bouton - Kameleoon
Déroulé du test
1. Ed...
19Copyright © Cartelis. All rights reserved.
#1 – Modification de la couleur d’un bouton - Optimizely
Succession d’étapes ...
20Copyright © Cartelis. All rights reserved.
#1 – Modification de la couleur d’un bouton - VWO
Points forts Points faibles...
#2 – Modification du texte d’un bouton
22Copyright © Cartelis. All rights reserved.
#2 – Modification du texte d’un bouton – A/B Tasty
Points forts Points faible...
23Copyright © Cartelis. All rights reserved.
#2 – Modification du texte d’un bouton – Kameleoon
Points forts Points faible...
24Copyright © Cartelis. All rights reserved.
#2 – Modification du texte d’un bouton – Optimizely
Points forts Points faibl...
25Copyright © Cartelis. All rights reserved.
#2 – Modification du texte d’un bouton – VWO
Points forts Points faibles
Déro...
#3 – Inversion de deux blocs sur la page
27Copyright © Cartelis. All rights reserved.
#3 – Inversion de deux blocs sur la page – A/B Tasty
Points forts Points faib...
28Copyright © Cartelis. All rights reserved.
#3 – Inversion de deux blocs sur la page – Kameleoon
Points forts Points faib...
29Copyright © Cartelis. All rights reserved.
#3 – Inversion de deux blocs sur la page – Optimizely
Points forts Points fai...
30Copyright © Cartelis. All rights reserved.
#3 – Inversion de deux blocs sur la page – VWO
Points forts Points faibles
Dé...
#4 – Insertion d’un nouveau bloc
32Copyright © Cartelis. All rights reserved.
#4 – Insertion d’un nouveau bloc – A/B Tasty
Points forts Points faibles
L’éd...
33Copyright © Cartelis. All rights reserved.
#4 – Insertion d’un nouveau bloc – Kameleoon
Points forts Points faibles
Déro...
34Copyright © Cartelis. All rights reserved.
#4 – Insertion d’un nouveau bloc – Optimizely
Points forts Points faibles
Dér...
35Copyright © Cartelis. All rights reserved.
#4 – Insertion d’un nouveau bloc – VWO
Points forts Points faibles
Un minimum...
E-mail cartelis.fr@gmail.com
Web www.cartelis.fr
Tel. 06.60.03.63.35
Partenaires média
Benchmark réalisé par
E-mail contact@sendinblue.com
Web www.sendinblue.com
Empower
Your CRM
Strategy
Phone +33 (0) 1 84 24 02 34
E-mail contact@...
Próximos SlideShares
Carregando em…5
×

Cartelis comparatif-solutions-ab-testing

15.189 visualizações

Publicada em

Comparatif complet des 4 principales solutions d'A/B Testing : VWO vs Optimizely vs Kameleoon vs AB Tasty

Publicada em: Marketing
  • Seja o primeiro a comentar

Cartelis comparatif-solutions-ab-testing

  1. 1. Benchmark des solutions d’A/B Testing
  2. 2. 2Copyright © Cartelis. All rights reserved. Sommaire A Contexte et enjeux B Synthèse des résultats C Zoom sur les cas d’usage
  3. 3. A Contexte et enjeux
  4. 4. 4Copyright © Cartelis. All rights reserved. Objectif & Méthodologie du benchmark Nous avons comparé les 4 solutions d’A/B Testing les plus utilisées en France. Le benchmark livre une comparaison fonctionnelle et technique de 4 acteurs majeurs de l’A/B Testing : • 4 cas d’usage simples ont été définis pour comparer les acteurs : #1 – Modification de la couleur d’un bouton #2 – Modification du texte d’un bouton #3 – Inversion de deux blocs sur la page #4 – Insertion d’un nouveau bloc • Les 4 cas d’usage ont été réalisés sur le site lesmobiles.com, site indépendant sur la téléphonie mobile. Méthodologie du benchmarkObjectif du benchmark
  5. 5. 5Copyright © Cartelis. All rights reserved. Les solutions d’A/B Testing utilisées • Date de création : 2008 • Prix minimal : 349€/mois pour 100 000 visiteurs uniques testés • Nationalité : • Date de création : 2010 • Prix minimal : 199€/mois pour 50 000 visiteurs uniques testés • Nationalité : • Date de création : 2010 • Prix : $49/mois pour la version premium • Nationalité : • Date de création : 2010 • Prix minimal : $59/mois pour 10 000 visiteurs uniques testés • Nationalité :
  6. 6. 6Copyright © Cartelis. All rights reserved. Benchmark réalisé sous le prisme de 4 cas d’usage #1 - Modification de la couleur d’un bouton #2 - Modification du texte d’un bouton #3 - Inversion de 2 blocs sur la page #4 - Insertion d’un nouveau bloc Passer du jaune à un bleu plus propre “Voir l’offre” à la place d’”Acheter” Remonter le bloc de publicité, qui est au cœur du modèle économique du site Ajout d’un bloc pour augmenter le taux de clic sur le site
  7. 7. B Synthèse des résultats
  8. 8. 8Copyright © Cartelis. All rights reserved. Réalisation des tests #1 : Modification de la couleur d’un bouton #2 : Modification du texte d’un bouton Sélecteurs css à la main Sélecteurs css à la main #3 : Inversion de deux blocs sur la page Sélection du bloc à déplacer impossible Bug #4 : Insertion d‘un nouveau bloc Impossible
  9. 9. 9Copyright © Cartelis. All rights reserved. Comparaison des fonctionnalités 1/2 Editeur visuel simplifié Mode recette intégrée NA NA Historique des changements Tracking de clics Tracking d’un élément nouvellement créé Ciblage de l’audience - critères multiples, segmentation Définition de la population visitor-based visit-based /visitor-based visitor-based visitor-based Restreindre la part du trafic allouée à l’AB test Optimiser automatiquement la répartition du trafic En option
  10. 10. 10Copyright © Cartelis. All rights reserved. Comparaison des fonctionnalités 2/2 Capping (arrêt du test dès que le nombre de « vu » ciblés est atteint) Arrêt automatique après seuil de pertinence atteint NA Planification Estimation de la durée du test Résultats : historique Résultats - indicateur de fiabilité Résultats - filtrés Résultats – ventilation NA Résultats – objectifs a posteriori Support Pas disponible en version démo Réponse en 1H30 Pas de réponse Réponse en 15 minutes
  11. 11. 11Copyright © Cartelis. All rights reserved. Comparaison des performances techniques Poids du script 82,3kb 51.7kb 91kb 40kb Temps de téléchargement* 59ms 46ms 45ms 29ms *Moyenne Last Byte sur 10 requêtes du temps de chargement du fichier Javascript principal Installation du tag Synchrone ou asynchrone Synchrone ou asynchrone Synchrone ou asynchrone Synchrone ou asynchrone Informations complémentaires Intégration directe depuis GTM possible Technologie anti-flickering NB : bien que le pois du script et le temps de téléchargement apparaissent comme les plus faibles, il faut prendre avec précaution ces chiffres puisque VWO charge à part les variantes, ce qui ralentit fortement la performance technique
  12. 12. 12Copyright © Cartelis. All rights reserved. Synthèse globale Synthèse Tests ++ +++ - ++ Simplicité +++ +++ - +++ Fonctionnalités de l’éditeur ++ +++ + ++ Vitesse de chargement de l'éditeur ++ + +++ ++ Restitution des résultats ++ +++ ++ ++ Utilisable sans compétence informatique +++ +++ - - - Support NA +++ +++ +++ Prix 199€ /mois pour 50 000 visiteurs uniques 349€ /mois pour 100 000 visiteurs uniques $49 pour la version premium $59 /mois pour 10 000 visiteurs uniques
  13. 13. 13Copyright © Cartelis. All rights reserved. Conclusion • Aucune connaissance en HTML / CSS requise • Solution à la fois simple d’utilisation et très complète • Grande richesse de fonctionnalités (segmentation des résultats, arrêt automatique, simulation de la durée, solution anti-flickering, etc.) • Solution très mature, très agréable à utiliser • Ergonomie très efficace • Editeur performant • Heatmap disponible pour repérer facilement les zones chaudes de clic • Plateforme incroyablement minimaliste et détaillée • Nombreuses fonctionnalités disponibles (optimisation mobile, framework exécutable sur n’importe quelle plateforme front et/ou back) • Aucune connaissance en HTML / CSS requise • Simplicité et performance au rendez- vous • Interface très réactive (backoffice et éditeur) • De nombreuses fonctionnalités complémentaires (session tracking, personnalisation par exemple) • Support injoignable (en version démo) • Test #3 – Déplacement du bloc impossible à réaliser • Chargement du backoffice plus lent que ses concurrents • Ergonomie perfectible • Embarcation de l’éditeur dans un iframe • Solution plus technique, notamment avec la présence du sélecteur CSS pour sélectionner les éléments à modifier • Pas disponible en français • Logique de création d’un A/B Test étrange • Solution vieillissante dans ses fonctionnalités • Plus difficile à la prise en main que ses concurrents • Pas disponible en français Points forts Points faibles 1/2
  14. 14. 14Copyright © Cartelis. All rights reserved. Conclusion 2/2 Finalement, le choix de la solution dépend avant tout de votre objectif principal Ce sont 4 très bonnes solutions, qui ont chacune leur place sur le marché. Quelques éléments malgré tout pour aiguiller la décision : • Si vous êtes allergiques à l’anglais, oubliez Optimizely et VWO : l’interface et le support ne sont disponibles qu’en anglais • Si vous n’avez aucune connaissance en HTML/CSS, A/B Tasty et Kameleoon sont les plus adaptés • Pour la réalisation de tests simples, A/B Tasty et Kameleoon sont très proches : les deux solutions offrent chacune des fonctionnalités exclusives. Finalement, cela relève d’une question de goût et de budget • Pour la réalisation de tests plus complexes, Kameleoon est plus pertinent du fait de son architecture technique plus performante et innovante (simplicité de mise en place de tests MVT, technologie anti-flicker, vitesse de chargement du script, solution fonctionnant sur les nouveaux langages comme React, etc.)
  15. 15. C Zoom sur les cas d’usage
  16. 16. #1 – Modification de la couleur d’un bouton
  17. 17. 17Copyright © Cartelis. All rights reserved. #1 – Modification de la couleur d’un bouton - A/B Tasty Simplicité pour accéder à l’éditeur et faire la modification Configuration des objectifs directement dans les résultats, évitant une étape superflue Tableau de synthèse très épuré et clair Les résultats ne sont pas présentés de manière très visible sur le tableau de bord Points faiblesPoints forts Déroulé du test 1. Editeur : après avoir accédé à l’éditeur, aller dans Editer > Style > Couleur et procéder à la modification 2. [Optionnel] Tracking : définir les options 3. Paramétrage : définir les pages et la part du trafic concernées par l’A/B Test 4. [Optionnel] Planification : date de début et date de fin 5. Objectif : configuration des objectifs 6. Résultats : tableau de synthèse disponible, avec filtrage des objectifs par segment possible 7. [Optionnel] Mode de prévisualisation après le test disponible 8. Finalisation du test
  18. 18. 18Copyright © Cartelis. All rights reserved. #1 – Modification de la couleur d’un bouton - Kameleoon Déroulé du test 1. Editeur : après avoir accédé à l’éditeur, sélectionner le bouton à modifier puis le sélecteur de couleur pour procéder à la modification 2. [Optionnel] Tracking : définir les options 3. Paramétrage de la campagne en 3 étapes : choix des variantes, choix des visiteurs ciblés et choix du système de suivi 4. [Optionnel] Possibilité d’estimer la durée du test 5. Objectif : possibilité de définir un objectif personnalisé (évènement Javascript) 6. [Optionnel] Simulation du test 7. [Optionnel] Planification du test 8. Résultats : récapitulatif et résultats par segment disponibles 9. Finalisation du test Grande simplicité pour réaliser le test Courbe d’apprentissage très rapide Le ciblage est à la fois simple et intuitif et en même temps très poussé (ciblage comportementale par exemple) Possibilité de visualiser l’historique complet des modifications Quelques éléments importants (capping, récapitulatif des variations, vérification du fonctionnement du tag) absents lors du récapitulatif de la simulation Points forts Points faibles
  19. 19. 19Copyright © Cartelis. All rights reserved. #1 – Modification de la couleur d’un bouton - Optimizely Succession d’étapes trop complexes, on s’y perd rapidement. Mauvaise expérience utilisateur Vitesse de chargement de l’éditeur impressionnante (<1s) Déroulé du test 1. Formulaire à remplir 2. Définition du périmètre de test. Création d’une cible « Global » 3. Ciblage : audience « Everyone » définie 4. Objectif : définition de l’objectif de transformation, appelé « Metrics » 5. Sortir de la création de test, aller dans la section « Implémentation » pour entrer dans un éditeur d’évènements associés au scope de pages défini précédemment 6. Création de l’évènement de type « Clic » 7. Editeur : lancement de l’éditeur pour lancer le test 8. Tracking : section « Track Clicks » contenant automatiquement les évènements créés auparavant 9. [Optionnel] Planification du test disponible 10. Finalisation du test Points forts Points faibles L’éditeur est très intuitif
  20. 20. 20Copyright © Cartelis. All rights reserved. #1 – Modification de la couleur d’un bouton - VWO Points forts Points faibles Déroulé du test 1. Définition de la page que l’on souhaite tester 2. Editeur : après avoir accédé à l’éditeur, sélectionner le bouton à modifier puis le sélecteur de couleur pour procéder à la modification 3. Un UNDO/REDO ainsi qu’un historique des modifications est affiché 4. Tracking : on repère dans l’éditeur la fonction « Track Clicks » 5. Objectif : Définition de l’objectif principal, avec possibilité de définir des objectifs supplémentaires (objectifs de revenus par exemple) 6. [Optionnel] Possibilité d’estimer la durée du test 7. [Optionnel] HeatMap optionnel des pages de test via Crazyegg disponible 8. [Optionnel] Ciblage : possibilité de définir un capping en volume d’utilisateurs 9. Résultats : récapitulatif disponible 10. Finalisation du test Grande simplicité pour réaliser le test Succession d’étapes claires et intuitives Tableau récapitulatif très complet : scope, vérification du bon fonctionnement du tag, variations, tracking, capping
  21. 21. #2 – Modification du texte d’un bouton
  22. 22. 22Copyright © Cartelis. All rights reserved. #2 – Modification du texte d’un bouton – A/B Tasty Points forts Points faibles Déroulé du test 1. Passer en mode navigateur pour atteindre la page cible 2. Editeur : sélectionner tous les boutons similaires qu’il faut modifier 3. Procéder au changement sans désactiver le lien du texte 4. Ciblage : définir les pages cibles. Le ciblage fonctionne très facilement par regexp 5. Finalisation du test On perd l’éditeur lors du passage en mode navigation : peu pratique ! Les boutons que l’on souhaite modifier apparaissent en surbrillance : c’est visuellement très efficace De nombreux modules de ciblage supplémentaires disponibles : critères de navigation et comportementaux, transactionnels (« ne déclencher l’AB Test que pour les utilisateurs n’ayant jamais acheté sur mon site »), météo, etc.
  23. 23. 23Copyright © Cartelis. All rights reserved. #2 – Modification du texte d’un bouton – Kameleoon Points forts Points faibles Les étapes successives pour réaliser le test sont cohérentes et limpides Possibilité de choisir entre un mode « expression régulière » pour plus de précision ou l’application de la modification sur toutes les URL contenant le fragment voulu Déroulé du test 1. Passer en mode navigateur pour atteindre la page cible 2. Editeur : sélectionner tous les boutons similaires qu’il faut modifier (ici en l'occurrence c’est bt-buy qu’il faut prendre) 3. Sous le lien « Editer contenu », procéder au changement sans désactiver le lien du texte 4. Paramétrage de la campagne en 3 étapes : choix des variantes, choix des visiteurs ciblés et choix du système de suivi. Possibilité de basculer sur un mode « expression régulière » pour plus de précision 5. La fin est la même que pour le premier test
  24. 24. 24Copyright © Cartelis. All rights reserved. #2 – Modification du texte d’un bouton – Optimizely Points forts Points faibles Testeur d’URL très pratique pour les expressions régulières Succession des étapes trop peu intuitives, comme pour le premier test Connaissances avancées en CSS requises Déroulé du test 1. « Implémentation » : définition du périmètre des pages mobiles 2. Objectifs : création du sélecteur CSS manuellement pour sélectionner les éléments de notre choix 3. Editeur : création du sélecteur CSS pour indiquer le nombre d’éléments concernés 4. Finalisation comme pour le premier test
  25. 25. 25Copyright © Cartelis. All rights reserved. #2 – Modification du texte d’un bouton – VWO Points forts Points faibles Déroulé du test 1. Paramétrage de l’URL du périmètre en utilisant l’option « L’URL commence par » 2. Editeur : VWO ne permet pas de sélectionner plusieurs éléments simultanés dans une liste de manière visuelle, comme A/B Tasty ou Kameleoon. Il faut donc basculer sur l’éditeur de code pour procéder à la modification 3. La suite est similaire au premier test Les étapes successives pour réaliser le test sont cohérentes et limpides Connaissances avancées en CSS requises
  26. 26. #3 – Inversion de deux blocs sur la page
  27. 27. 27Copyright © Cartelis. All rights reserved. #3 – Inversion de deux blocs sur la page – A/B Tasty Points forts Points faibles Déroulé du test Afin de faire remonter le bloc de prix au dessus du bloc prix, la fonction « intervenir » semble idéale. Problème : impossible de choisir la zone sur laquelle on souhaite intervertir, car par défaut l’éditeur sélectionne la colonne entière. C’est donc un échec pour ce test. NA NA
  28. 28. 28Copyright © Cartelis. All rights reserved. #3 – Inversion de deux blocs sur la page – Kameleoon Points forts Points faibles Déroulé du test 1. Fonction ad hoc disponible, permettant de sélectionner facilement le bloc que l’on souhaite déplacer 2. Déplacement du bloc 3. Finalisation du test Simplicité Rapidité dans l’exécution du test, même sans connaissance technique
  29. 29. 29Copyright © Cartelis. All rights reserved. #3 – Inversion de deux blocs sur la page – Optimizely Points forts Points faibles Déroulé du test 1. Fonction « Rearrange » adaptée à ce cas de figure 2. Définition du périmètre des pages mobiles 3. Tracking : définition du tracking sur les boutons manuellement avec notre sélecteur CSS Complexité trop importante pour un test aussi basique
  30. 30. 30Copyright © Cartelis. All rights reserved. #3 – Inversion de deux blocs sur la page – VWO Points forts Points faibles Déroulé du test 1. Fonction ad hoc disponible, permettant de sélectionner facilement le bloc que l’on souhaite déplacer 2. Déplacement du bloc 3. Tracking du clic 4. Finalisation du test Simplicité Rapidité dans l’exécution du test, même sans connaissance technique
  31. 31. #4 – Insertion d’un nouveau bloc
  32. 32. 32Copyright © Cartelis. All rights reserved. #4 – Insertion d’un nouveau bloc – A/B Tasty Points forts Points faibles L’éditeur pourrait être plus intuitif lorsqu'il s’agit de placer le bloc où on le souhaite Rapidité dans l’exécution du test, même sans connaissance technique L’interface parvient facilement à traquer l’élément ajouté en HTML Déroulé du test 1. Ajouter > Ajouter HTML : ajout du bloc en langage HTML 2. Placer le bloc : la difficulté ici est de savoir où va être ajouté le bloc : après plusieurs essais, on se rend compte qu’il se place à la suite 3. Tracking : l’interface traque l’élément ajouté en HTML sans problème 4. Finalisation du test
  33. 33. 33Copyright © Cartelis. All rights reserved. #4 – Insertion d’un nouveau bloc – Kameleoon Points forts Points faibles Déroulé du test 1. Editeur : ajout du bloc en langage HTML 2. Tracking : l’interface traque l’élément ajouté en HTML 3. Objectifs : deux objectifs sont à définir ici, le clic sur Twitter et sur Facebook. Comme attendu, on a la possibilité de distinguer ces deux objectifs lors de la finalisation du test 4. Finalisation du test L’interface parvient facilement à traquer l’élément ajouté en HTML Rapidité dans l’exécution du test, même sans connaissance technique
  34. 34. 34Copyright © Cartelis. All rights reserved. #4 – Insertion d’un nouveau bloc – Optimizely Points forts Points faibles Déroulé du test 1. Editeur : ajout du bloc en langage HTML 2. Tracking : impossibilité de traquer des éléments créés dynamiquement par le test du fait de la création des objectifs et des cibles avant le contenu 3. Résultats : tableau récapitulatif disponible 4. Finalisation du test Bien que l’insertion d’un bloc HTML ne pose pas de problème en soit, impossibilité de traquer les éléments créés par le test Tableau de résultats trop épuré qui présente de nombreux défauts : actions de mises en pause cachées, aucun résumé de la performance de chaque test, pas de notion de volumes, …
  35. 35. 35Copyright © Cartelis. All rights reserved. #4 – Insertion d’un nouveau bloc – VWO Points forts Points faibles Un minimum de connaissances en HTML requis : ouvrir le code source du conteneur à l’endroit où l’on souhaite l’insérer, puis coller le code à la main au bon endroit Déroulé du test 1. Editeur : ajout du bloc en langage HTML 2. Tracking : l’interface traque l’élément ajouté en HTML 3. Objectifs : deux objectifs sont à définir ici, le clic sur Twitter et sur Facebook. Comme attendu, on a la possibilité de distinguer ces deux objectifs lors de la finalisation du test 4. Résultats : tableau de bord disponible 5. Finalisation du test L’interface parvient facilement à traquer l’élément ajouté en HTML Tableau de bord très clair, avec des informations utiles pour chaque campagne : estimation de la durée restante pour les campagnes en cours, résultat synthétique pour les campagnes terminées
  36. 36. E-mail cartelis.fr@gmail.com Web www.cartelis.fr Tel. 06.60.03.63.35 Partenaires média Benchmark réalisé par
  37. 37. E-mail contact@sendinblue.com Web www.sendinblue.com Empower Your CRM Strategy Phone +33 (0) 1 84 24 02 34 E-mail contact@cartelis.fr Web www.cartelis.fr

×