ETL

Comment se déroule un flux

Trois étapes s’enchaînent : 1) extraire les données de chaque source via API ou export ; 2) les transformer, nettoyer, dédoublonner et harmoniser les formats de date, de devise et d’identifiant ; 3) les charger dans l’entrepôt. La transformation concentre l’essentiel de l’effort et la quasi-totalité des incidents, car c’est là que se posent les règles métier.

ETL vs ELT

L’ETL transforme avant le chargement, l’ELT charge d’abord la donnée brute puis la transforme dans l’entrepôt. L’ELT domine aujourd’hui parce que le stockage coûte peu et que conserver la donnée brute permet de recalculer un historique après un changement de règle. Avec un ETL classique, une erreur de transformation détruit définitivement l’information d’origine. Conservez donc systématiquement une copie brute et datée.

Surveiller un pipeline en production

Un flux qui tourne sans alerte finit toujours par casser en silence : API modifiée, quota dépassé, colonne renommée. Mettez en place trois garde-fous, un contrôle de volume attendu, un contrôle de fraîcheur et une alerte en cas d’échec. Prévoyez aussi une procédure de relance manuelle documentée, car les rattrapages tombent le lundi matin avant le comité.

Termes associés