Statistical Significance
Seuil de confiance (95%) confirmant qu'un résultat de test n'est pas dû au hasard.
La significativité statistique est le seuil de confiance indiquant que le résultat observé lors d'un test n'est probablement pas dû au hasard.
Ce que mesure la p-value
La p-value répond à une seule question : si les deux versions étaient strictement identiques, quelle serait la probabilité d’observer un écart au moins aussi grand que celui mesuré ? Sous 0,05, on considère cet écart peu compatible avec le hasard. Elle ne dit rien, en revanche, de l’ampleur du gain ni de sa valeur économique.
Significatif ne veut pas dire rentable
Avec un trafic important, un écart minuscule finit toujours par devenir significatif. Un gain relatif de 2 % sur une micro-conversion peut être statistiquement solide et économiquement nul, surtout si le déploiement coûte plusieurs jours de développement. Regardez systématiquement l’intervalle de confiance et traduisez sa borne basse en euros avant d’engager la moindre décision de déploiement à grande échelle.
Les pièges du peeking
Consulter les résultats chaque matin et arrêter au premier passage au vert multiplie mécaniquement les faux positifs. Fixez à l’avance la durée et la taille d’échantillon, couvrez des semaines complètes, puis tenez le plan. Si vous voulez vraiment surveiller en continu, utilisez un outil conçu pour cela plutôt que de lire un test classique en cours de route.
Exemple concret
Un éditeur SaaS compare deux pages de tarifs sur 12 000 visiteurs par version : 3,1 % contre 3,5 % d’inscriptions. L’écart franchit le seuil de 95 %, mais l’intervalle de confiance s’étend de 2 à 24 % de gain relatif. Le gain est réel, son ampleur reste très incertaine.
Termes associés
A/B Test
Test comparant deux versions (A et B) pour déterminer laquelle performe le mieux.
Multivariate Testing
Expérimentation testant simultanément plusieurs combinaisons de variables pour identifier la meilleure combinaison.
Confidence Level
Probabilité que le résultat observé lors d'un test soit réel et reproductible (95% = standard).
Control Group
Groupe d'utilisateurs non exposé à une modification lors d'un test, servant de référence.
Testimonial
Avis ou citation d'un client satisfait utilisé comme preuve sociale pour renforcer la confiance.
Trust Badges
Éléments visuels renforçant la crédibilité (logos clients, certifications, avis, garanties…).
Pour aller plus loin
Statistical Significance en pratique : Conversion
Pour aller au-delà de la définition, découvrez notre accompagnement CRO.