robots.txt
Definition
Le robots.txt est un fichier texte servi à la racine d'un domaine (exemple.com/robots.txt) qui indique aux robots d'exploration les URL qu'ils peuvent récupérer. Il suit le protocole d'exclusion des robots, utilisé de manière informelle depuis 1994 puis normalisé par l'IETF sous le nom de RFC 9309 en septembre 2022. Le fichier est organisé en groupes : une ou plusieurs lignes User-agent qui désignent les robots concernés, suivies de règles Allow et Disallow sur des chemins d'URL. Il peut aussi déclarer l'emplacement du sitemap XML.
Quelques règles déterminent la lecture du fichier. Les noms de robots ne tiennent pas compte de la casse, les chemins si. La règle la plus précise, c'est-à-dire le chemin correspondant le plus long, l'emporte et Allow gagne en cas d'égalité. Un groupe qui nomme un robot remplace pour lui le groupe User-agent: * au lieu de s'y ajouter. Le code HTTP compte aussi : une réponse 4xx signifie que tout est autorisé, une réponse 5xx que tout est bloqué. Les robots peuvent garder le fichier en cache jusqu'à 24 heures. Enfin, le robots.txt contrôle l'exploration, pas l'indexation : une URL bloquée peut encore apparaître dans Google sans description. Pour exclure une page des résultats, utilisez une directive noindex sur une page explorable.
Depuis 2023, le fichier est aussi devenu le principal point de contrôle des crawlers IA. Les fournisseurs publient des user-agents distincts pour l'entraînement des modèles, pour la recherche et pour les consultations déclenchées par un utilisateur : un site peut donc bloquer l'entraînement tout en restant citable dans les réponses de ChatGPT, Claude ou Perplexity. L'erreur inverse est fréquente : bloquer par mégarde OAI-SearchBot ou PerplexityBot retire un site des réponses de ces moteurs. Le robots.txt reste une demande, pas un contrôle d'accès. Les robots déclenchés par un utilisateur peuvent ne pas l'appliquer, les scrapers peu scrupuleux l'ignorent et le Web Bot Auth émerge pour vérifier qui explore réellement. L'IETF travaille par ailleurs à des préférences d'usage par l'IA exprimables dans le fichier. Google a annoncé de son côté la prise en charge d'une préférence sur l'entraînement prévue début 2027.
Le robots.txt fonctionne avec le fichier llms.txt, qui suggère des pages à lire, ainsi qu'avec le sitemap, qui liste les URL à découvrir. Les audits techniques de BotRank vérifient que le fichier est accessible et que les robots de recherche IA ne sont pas bloqués par erreur. Pour le détail fournisseur par fournisseur, lisez notre guide robots.txt et IA.
Documentation officielle
Exemples
Après une migration, le robots.txt de l'environnement de préproduction, qui contient User-agent: * suivi de Disallow: /, est mis en production par erreur. Googlebot et les robots de recherche IA cessent d'explorer le site et, en quelques jours, ses pages disparaissent des sources citées dans les réponses IA. Rétablir le bon fichier puis suivre les visites des robots dans les logs serveur est le premier correctif.
Exemple complet : un fichier robots.txt commenté
# 1. Robots de recherche des moteurs IA : mêmes exclusions que tout le mondeUser-agent: OAI-SearchBotUser-agent: Claude-SearchBotUser-agent: PerplexityBotDisallow: /cart/Disallow: /*?sort= # 2. Un robot d'entraînement : tout est bloqué sauf l'espace presseUser-agent: GPTBotDisallow: /Allow: /press/ # 3. Tous les autres robotsUser-agent: *Disallow: /cart/Disallow: /*?sort= Sitemap: https://www.example.com/sitemap.xmlLe premier groupe répète les exclusions du groupe général, car un robot qui a son propre groupe ne lit plus User-agent: *. Dans le deuxième groupe, Allow: /press/ est plus long que Disallow: / : il l'emporte pour ce dossier. Le caractère * remplace n'importe quelle suite de caractères et $ marque la fin d'une URL (Disallow: /*.pdf$ bloque tous les PDF). La ligne Sitemap s'applique à tout le fichier, quel que soit le groupe.
Foire aux questions
Une règle Disallow retire-t-elle une page de Google ?
Non. Le robots.txt empêche l'exploration, pas l'indexation. Une URL bloquée peut encore apparaître dans les résultats, sans description, si d'autres pages pointent vers elle. Pour retirer une page, laissez-la explorable et ajoutez une directive noindex, que le robot doit pouvoir lire.
Faut-il bloquer les crawlers IA dans le robots.txt ?
Il faut distinguer deux cas. Bloquer les robots d'entraînement comme GPTBot ou ClaudeBot est un choix sur l'usage de vos contenus, sans effet sur les citations. Bloquer les robots de recherche comme OAI-SearchBot, Claude-SearchBot ou PerplexityBot retire vos pages des réponses de ces moteurs. La plupart des marques qui visent la visibilité IA autorisent les robots de recherche et tranchent au cas par cas pour l'entraînement.
Tous les robots respectent-ils le robots.txt ?
Les robots déclarés des grands fournisseurs le respectent, mais le protocole repose sur le volontariat. Les robots déclenchés par la demande d'un utilisateur peuvent ne pas l'appliquer, comme l'indiquent OpenAI et Perplexity pour certains de leurs agents. Les scrapers malveillants, eux, l'ignorent. Pour un vrai contrôle d'accès, appuyez-vous sur les règles de votre CDN ou de votre pare-feu et sur une vérification cryptographique comme le Web Bot Auth.
Comment vérifier son robots.txt ?
Ouvrez exemple.com/robots.txt et vérifiez qu'il renvoie un code 200 en texte brut. La Google Search Console montre comment Google a lu le fichier, les logs serveur indiquent quels robots passent réellement et un audit technique comme celui de BotRank signale les crawlers IA bloqués par erreur.