Confidence Level
Probabilité que le résultat observé lors d'un test soit réel et reproductible (95% = standard).
Le niveau de confiance indique la probabilité que le résultat d'un test soit réel et reproductible, et non dû au hasard.
Niveaux standard
90% : acceptable pour des tests exploratoires à faible enjeu. 95% : standard industrie pour la plupart des décisions marketing. 99% : recommandé pour les décisions à fort impact financier ou les changements irréversibles.
Relation avec la taille d'échantillon
Plus le niveau de confiance souhaité est élevé, plus la taille d'échantillon nécessaire est grande (et donc la durée du test). Un test à 99% de confiance nécessite environ 2× plus de données qu'un test à 95%.
Termes associés
Statistical Significance
Seuil de confiance (95%) confirmant qu'un résultat de test n'est pas dû au hasard.
A/B Test
Test comparant deux versions (A et B) pour déterminer laquelle performe le mieux.
Control Group
Groupe d'utilisateurs non exposé à une modification lors d'un test, servant de référence.
Variant
Version alternative testée contre le contrôle dans un A/B test ou test multivarié.
Besoin d'aide pour optimiser votre Confidence Level ?
Discutons de votre stratégie marketing.