Crawl
Exploration. Processus par lequel les robots des moteurs de recherche parcourent et indexent les pages web.
Le crawl (exploration) est le processus par lequel les robots (bots) des moteurs de recherche, comme Googlebot, parcourent le web en suivant les liens d'une page à l'autre pour découvrir et analyser le contenu des sites.
Budget d’exploration et priorités
Les moteurs allouent à chaque site une capacité d’exploration liée à sa taille, sa fraîcheur et sa rapidité de réponse. Sur un petit site, la question ne se pose pas. Au-delà de quelques dizaines de milliers d’URL, elle devient centrale: chaque page inutile explorée est une page utile non revisitée. Bloquez les filtres combinatoires, la recherche interne et les URL de tri.
Diagnostiquer par les journaux serveur
Les journaux serveur montrent ce que les robots visitent réellement, ce qu’aucun outil d’audit ne peut deviner. Regardez la répartition des passages par type de page, la fréquence de visite de vos pages stratégiques et le volume de 404 et de redirections rencontrées. Un tiers du budget consommé par des pages sans valeur signale un assainissement urgent à mener.
Crawl vs indexation
Être exploré ne garantit pas d’être indexé, et une page bloquée par le fichier robots peut malgré tout apparaître dans les résultats si d’autres sites la citent. Pour empêcher réellement l’indexation, posez une balise noindex sur une page laissée accessible aux robots. Bloquer l’exploration d’une page en noindex empêche justement le moteur de lire cette instruction.
Exemple concret
Un site e-commerce de 40 000 fiches constate dans ses journaux que 65% des passages de robots portent sur des URL de filtres. Après blocage de ces paramètres et nettoyage du sitemap, la part tombe à 20% et le délai moyen d’indexation des nouvelles fiches passe de 12 à 3 jours.
Termes associés
Indexation
Ajout d'une page web à la base de données d'un moteur de recherche pour qu'elle apparaisse dans les résultats.
Sitemap
Plan du site. Fichier XML listant les URLs d'un site pour faciliter l'exploration par les moteurs de recherche.
Robots.txt
Fichier indiquant aux robots des moteurs de recherche quelles pages crawler ou ignorer.
DA
Domain Authority. Score (0-100) prédisant la capacité d'un site à se positionner dans les résultats de recherche.
Disavow
Action de demander à Google d'ignorer certains backlinks toxiques ou spammy pointant vers votre site.
DNS
Domain Name System - système traduisant les noms de domaine en adresses IP.
Crawl en pratique : SEO & Search
Pour aller au-delà de la définition, découvrez notre expertise stratégie d'acquisition.