A/B Test
Test comparant deux versions (A et B) pour déterminer laquelle performe le mieux.
L'A/B test est une méthode d'expérimentation qui consiste à comparer deux versions d'un élément (page web, email, publicité) pour déterminer laquelle produit les meilleurs résultats. C'est la base de toute démarche d'optimisation data-driven.
Comment cadrer un test
Un test commence par une hypothèse écrite : si je change tel élément, alors tel indicateur évoluera, parce que telle friction observée disparaît. Vous choisissez ensuite une métrique principale unique, décidée avant le lancement, et quelques métriques de garde-fou (marge, taux de retour, désabonnement). Répartissez le trafic aléatoirement, gardez les deux versions en ligne simultanément, et ne touchez plus à rien jusqu’au terme prévu.
Quelle taille d’échantillon viser
Calculez l’échantillon avant de démarrer, à partir de votre taux de conversion actuel et de l’écart minimum que vous jugez utile de détecter. Détecter un gain relatif de 10 % sur un taux de 2 % demande couramment plusieurs dizaines de milliers de visiteurs par variante. Prévoyez au minimum deux cycles hebdomadaires complets pour absorber les variations entre jours de semaine et week-end.
Les erreurs classiques
Arrêter le test dès que la courbe passe au vert reste la faute numéro un : les premiers jours sont volatils et produisent de faux gagnants. Viennent ensuite les tests multipliés sans correction du risque d’erreur, les changements trop timides pour être détectables, la contamination entre variantes sur un même utilisateur, et l’oubli de documenter les tests perdants, qui sont pourtant les plus instructifs.
Exemple concret
Une boutique teste une nouvelle page produit sur 25 000 visiteurs par variante. La version B convertit à 2,4 % contre 2,0 %, soit un gain relatif de 20 % avec un intervalle qui exclut zéro. Sur 300 000 visiteurs annuels et un panier de 65 euros, cela représente environ 78 000 euros supplémentaires.
Termes associés
CRO
Conversion Rate Optimization. L'optimisation du taux de conversion de votre site ou landing page.
CTR
Click-Through Rate. Le pourcentage de personnes qui cliquent sur votre pub après l'avoir vue.
Funnel
Tunnel de conversion. Le parcours que suit un prospect du premier contact jusqu'à l'achat.
ROAS
Return On Ad Spend. Combien vous gagnez pour chaque euro dépensé en pub. Un ROAS de 4 signifie 4€ de revenu pour 1€ investi.
AOV
Average Order Value. Le panier moyen de vos clients.
Confidence Level
Probabilité que le résultat observé lors d'un test soit réel et reproductible (95% = standard).
Pour aller plus loin
A/B Test en pratique : Conversion
Pour aller au-delà de la définition, découvrez notre service d'optimisation de la conversion.