Holdout Test
Expérimentation où un segment d'audience est exclu d'une campagne pour mesurer son impact incrémental.
Un Holdout Test (test de retenue) consiste à exclure délibérément un segment d'audience d'une campagne publicitaire pour mesurer la différence de performance avec le groupe exposé. C'est une méthode robuste pour évaluer l'incrémentalité.
Comment dimensionner le groupe exclu
Réservez en général 10 à 20 pour cent de l’audience, assez pour détecter un écart sans sacrifier trop de chiffre d’affaires. Plus l’effet attendu est faible, plus le groupe doit être large et la période longue. Calculez la taille nécessaire avant de lancer, sinon vous obtiendrez un résultat non concluant après six semaines de patience.
Holdout vs Conversion Lift
Le Conversion Lift est un test outillé par la régie, rapide à lancer mais limité à son périmètre et juge de sa propre performance. Le holdout se pilote depuis vos données, peut couvrir plusieurs canaux à la fois et se mesure sur votre back-office. Il demande plus de rigueur d’exécution, mais son résultat est nettement moins contestable.
Pièges d’exécution à surveiller
La contamination reste l’ennemi principal : un membre du groupe exclu qui reçoit malgré tout un email, une notification ou une publicité d’un autre canal invalide la lecture. Vérifiez les exclusions dans chaque outil, gelez les changements de créa et de budget pendant la période, et ne consultez pas les résultats tous les matins avant le terme prévu.
Exemple concret
Une PME B2B exclut 15 pour cent de sa base, soit 3 000 contacts sur 20 000, de ses relances pendant huit semaines. Le groupe exposé génère 4,2 pour cent de demandes de devis, le groupe exclu 3,5 pour cent. L’écart de 0,7 point représente environ 119 demandes incrémentales sur la période.
Termes associés
Incrementality
Mesure de l'impact réel d'une campagne publicitaire : conversions qui n'auraient pas eu lieu sans la publicité.
Conversion Lift
Test mesurant l'impact incrémental d'une campagne en comparant un groupe exposé à un groupe de contrôle.
A/B Test
Test comparant deux versions (A et B) pour déterminer laquelle performe le mieux.
KPI
Key Performance Indicator. Indicateur clé de performance mesurant l'atteinte d'un objectif.
Last Click
Modèle d'attribution attribuant 100% du crédit de conversion au dernier clic avant l'achat.
MMM
Media Mix Modeling - modélisation statistique mesurant l'impact de chaque canal marketing sur les ventes.
Holdout Test en pratique : Tracking & Data
Pour aller au-delà de la définition, découvrez notre service tracking et data.