Crawl
Exploration. Processus par lequel les robots des moteurs de recherche parcourent et indexent les pages web.
Le crawl (exploration) est le processus par lequel les robots (bots) des moteurs de recherche, comme Googlebot, parcourent le web en suivant les liens d'une page à l'autre pour découvrir et analyser le contenu des sites.
Optimiser le crawl
Assurez-vous que vos pages importantes sont accessibles via des liens internes. Utilisez un sitemap XML. Configurez le fichier robots.txt pour guider les robots. Évitez les erreurs 404 et les boucles de redirection qui gaspillent le budget de crawl.
Termes associés
Indexation
Ajout d'une page web à la base de données d'un moteur de recherche pour qu'elle apparaisse dans les résultats.
Sitemap
Plan du site. Fichier XML listant les URLs d'un site pour faciliter l'exploration par les moteurs de recherche.
Robots.txt
Fichier indiquant aux robots des moteurs de recherche quelles pages crawler ou ignorer.
Besoin d'aide pour optimiser votre Crawl ?
Discutons de votre stratégie marketing.