Robots.txt
Fichier indiquant aux robots des moteurs de recherche quelles pages crawler ou ignorer.
Le fichier robots.txt est un fichier texte placé à la racine de votre site qui donne des instructions aux robots d'exploration des moteurs de recherche : quelles pages ou sections du site ils peuvent ou ne peuvent pas explorer.
Utilisation courante
Bloquer l'exploration de pages d'administration, de pages en double, ou de ressources non pertinentes pour le SEO. Attention : robots.txt empêche le crawl mais pas l'indexation. Pour empêcher l'indexation, utilisez la balise meta noindex.
Termes associés
Crawl
Exploration. Processus par lequel les robots des moteurs de recherche parcourent et indexent les pages web.
Sitemap
Plan du site. Fichier XML listant les URLs d'un site pour faciliter l'exploration par les moteurs de recherche.
Indexation
Ajout d'une page web à la base de données d'un moteur de recherche pour qu'elle apparaisse dans les résultats.
Besoin d'aide pour optimiser votre Robots.txt ?
Discutons de votre stratégie marketing.