Robots.txt et IA : le guide complet pour être cité par ChatGPT, Gemini et Perplexity

Votre robots.txt a été écrit pour Google mais c'est lui qui décide désormais si ChatGPT, Claude ou Perplexity peuvent vous citer.

Un éditeur sur cinq suivi par l'IPTC bloque OAI-SearchBot, le robot qui alimente la recherche de ChatGPT. La plupart ne l'ont pas voulu. Ils cherchaient à bloquer l'entraînement des IA. Ils ont fermé la porte des réponses.

Le robots.txt est devenu le premier réglage GEO d'un site. Et les règles bougent : le 30 octobre 2026, Anthropic, OpenAI, Google et Microsoft ont adopté un signal commun pour refuser l'entraînement.

Dans ce guide :

• la liste à jour des robots IA, à autoriser ou à bloquer ;
• les 6 règles de lecture qui piègent même les équipes SEO ;
• trois robots.txt prêts à copier ;
• une checklist pour vérifier que tout fonctionne.

En bref

• Un robot par usage. Chaque éditeur d'IA utilise des robots distincts pour l'entraînement, pour l'index de recherche et pour lire une page à la demande. Bloquer le mauvais vous retire des réponses.
• La règle d'or. N'empêchez jamais l'accès de Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot ou PerplexityBot. L'entraînement (GPTBot, ClaudeBot, Google-Extended...) se décide au cas par cas.
• Bloquer GPTBot ne vous retire pas de ChatGPT. C'est OAI-SearchBot qui décide de votre présence dans ChatGPT Search.
• Un nouveau jeton commun. Depuis le 30 octobre 2026, __usage_ai-training exprime un refus d'entraînement auprès d'Anthropic, OpenAI, Google et Microsoft. Les déploiements s'étalent jusqu'en 2027.
• Le piège Gemini. Chez Google, refuser l'entraînement peut aussi vous retirer de l'application Gemini, mais pas des AI Overviews.
• Le fichier ne suffit pas. Un pare-feu, un CDN, une erreur serveur ou un contenu chargé en JavaScript peuvent bloquer les robots IA malgré un robots.txt parfait.

Pourquoi le robots.txt doit être optimisé pour l'IA

Parce que les moteurs IA ne peuvent citer que ce qu'ils ont le droit de lire. ChatGPT, Claude, Perplexity ou Copilot envoient leurs propres robots pour trouver les pages qu'ils citent. Et ces robots commencent toujours par lire le robots.txt.

Le problème : beaucoup de sites bloquent « les IA » en bloc. Chez les 504 éditeurs suivis par l'observatoire Metawatch de l'IPTC, les robots de recherche IA sont presque aussi souvent bloqués que les robots d'entraînement.

Ces sites pensaient protéger leurs contenus. En bloquant OAI-SearchBot ou Claude-SearchBot, ils ont surtout disparu des réponses de ChatGPT et de Claude.

Les sites de marques ne font pas mieux. Sur plus de 3 000 sites analysés par le GEO Scan de BotRank entre octobre 2025 et novembre 2026 :

• 6,5 % n'avaient pas de robots.txt accessible ;
• 8,3 % avaient un robots.txt qui ne passait pas notre contrôle des directives pour les robots IA.

Les 3 familles de robots IA à connaître

On ne bloque plus « l'IA » : on choisit des usages. Chaque éditeur sépare désormais ses robots en trois familles. Votre robots.txt doit les traiter différemment.

1. Les robots d'indexation construisent l'index où le moteur pioche ses sources. Les bloquer, c'est sortir des citations.
2. Les agents à la demande lisent une page précise quand un utilisateur la demande. OpenAI et Perplexity préviennent que le robots.txt peut ne pas s'appliquer à ces visites.
3. Les robots d'entraînement collectent des contenus pour les futurs modèles. Les bloquer ne vous retire pas des réponses en temps réel, sauf de l'application Gemini chez Google.

Quelle différence entre GPTBot, OAI-SearchBot et ChatGPT-User ?

Ce sont les trois robots d'OpenAI. Ils sont indépendants :

• GPTBot collecte des contenus pour l'entraînement ;
• OAI-SearchBot indexe les pages que ChatGPT Search peut citer ;
• ChatGPT-User lit une page quand un utilisateur la demande dans ChatGPT.

OpenAI le dit explicitement : vous pouvez autoriser OAI-SearchBot tout en bloquant GPTBot. La même logique vaut chez Anthropic avec ClaudeBot, Claude-SearchBot et Claude-User.

Liste des robots IA en 2026 : lesquels autoriser ou bloquer ?

Autorisez toujours les robots d'indexation et les agents à la demande. Arbitrez pour les robots d'entraînement. Les jetons ci-dessous sont ceux documentés par chaque éditeur au 3 novembre 2026. Les numéros de version changent, le jeton reste.

Robots d'indexation : à autoriser

Agents à la demande : à autoriser

Bloquer ces agents a peu d'intérêt : la plupart peuvent ignorer la règle. Ceux qui la respectent ne viennent que pour un utilisateur qui demande votre page.

Robots d'entraînement : à arbitrer

Comment un robot lit votre robots.txt : les 6 règles à maîtriser

La plupart des blocages accidentels viennent d'une règle de lecture mal comprise, pas d'une faute de frappe. Le format est fixé depuis 2022 par la RFC 9309. Pour les bases du fichier, voyez aussi notre documentation technique sur le robots.txt.

1. Un fichier par hôte. Il se trouve à la racine (https://www.exemple.fr/robots.txt) et chaque sous-domaine a besoin du sien. UTF-8, moins de 500 Kio : Google ignore le reste.
2. Un robot ne lit qu'un seul groupe. Il retient le groupe qui le nomme et ignore tous les autres, y compris User-agent: *. C'est le piège numéro un.
3. Les noms de robots ignorent la casse, pas les chemins. gptbot vaut GPTBot, mais /Blog/ et /blog/ sont deux chemins différents.
4. La règle la plus longue gagne. Entre Disallow: / et Allow: /presse/, c'est Allow qui s'applique à /presse/. À longueur égale, Allow l'emporte.
5. Deux jokers seulement. * remplace n'importe quels caractères, $ marque la fin de l'URL. Disallow: /*.pdf$ bloque tous les PDF.
6. Le code HTTP compte autant que le contenu. Une 404 vaut « tout est autorisé », une 5xx vaut « tout est interdit ». Le fichier reste en cache jusqu'à 24 heures.

Exemple annoté

# 1. Groupe partagé : ces deux robots lisent ces règlesUser-agent: OAI-SearchBotUser-agent: Claude-SearchBotDisallow: /panier/          # exclusion répétée ici (règle 2)Allow: / # 2. GPTBot ne lit que ce groupe : /panier/ ne le concerne plusUser-agent: GPTBotDisallow: /Allow: /presse/             # plus long que "/" : gagne (règle 4) # 3. Tous les autres robotsUser-agent: *Disallow: /panier/Disallow: /*?tri=           # joker (règle 5) # 4. Valable pour tout le fichierSitemap: https://www.exemple.fr/sitemap.xml

Exemples de robots.txt optimisés pour l'IA

Le bon robots.txt dépend d'une question : votre contenu est-il un produit que vous vendez, ou un moyen de faire connaître votre marque ? Une marque a intérêt à être connue des modèles, même quand ils répondent sans chercher sur le web. Un média a plus de raisons de refuser l'entraînement.

Profil 1 : visibilité maximale

La configuration la plus sûre est aussi la plus simple. Sans groupe spécifique, aucun robot IA ne peut être exclu par erreur.

User-agent: *Disallow: /admin/Disallow: /panier/Disallow: /*?tri= Sitemap: https://www.exemple.fr/sitemap.xml

Profil 2 : cité dans les réponses, sans entraînement

Vous restez visible dans ChatGPT, Claude, Perplexity, Copilot, Vibe et les AI Overviews. Les robots d'entraînement sont refusés un par un, puis via le jeton commun.

# --- Indexation et agents IA : autorisés ---User-agent: GooglebotUser-agent: BingbotUser-agent: ApplebotUser-agent: OAI-SearchBotUser-agent: ChatGPT-UserUser-agent: Claude-SearchBotUser-agent: Claude-UserUser-agent: PerplexityBotUser-agent: Perplexity-UserUser-agent: meta-webindexerUser-agent: MistralAI-IndexUser-agent: MistralAI-UserDisallow: /admin/Disallow: /panier/Allow: / # --- Entraînement : refusé robot par robot ---User-agent: GPTBotUser-agent: ClaudeBotUser-agent: CCBotUser-agent: meta-externalagentUser-agent: MistralAI-TrainingUser-agent: Applebot-ExtendedDisallow: / # --- Jeton commun (appliqué progressivement en 2026-2027) ---User-Agent: __usage_ai-trainingDisallow: / # --- Google : un seul jeton pour l'entraînement Gemini ET l'app Gemini ---# "Disallow: /" = refus d'entraînement, mais sortie de l'app Gemini.# "Allow: /" = présence dans Gemini, entraînement accepté.User-agent: Google-ExtendedDisallow: / # --- Tous les autres robots ---User-agent: *Disallow: /admin/Disallow: /panier/ Sitemap: https://www.exemple.fr/sitemap.xml

Profil 3 : protection sélective

Vous acceptez l'entraînement sur vos pages de marque, pas sur vos contenus à forte valeur. Le refus se fait chemin par chemin.

# Refus d'entraînement limité aux contenus à valeurUser-Agent: __usage_ai-trainingDisallow: /premium/Disallow: /etudes/ User-agent: GPTBotUser-agent: ClaudeBotUser-agent: CCBotUser-agent: meta-externalagentUser-agent: MistralAI-TrainingUser-agent: Applebot-ExtendedUser-agent: Google-ExtendedDisallow: /premium/Disallow: /etudes/Disallow: /admin/ User-agent: *Disallow: /admin/ Sitemap: https://www.exemple.fr/sitemap.xml

__usage_ai-training : le nouveau jeton commun contre l'entraînement IA

Depuis le 30 octobre 2026, une seule règle suffit pour refuser l'entraînement auprès d'Anthropic, OpenAI, Google et Microsoft. Le jeton __usage_ai-training vient d'un brouillon IETF rédigé par Kevin Kelley (Anthropic). Ce n'est pas encore une norme.

Il s'écrit comme un nom de robot mais désigne un usage :

User-Agent: __usage_ai-trainingDisallow: /Allow: /presse/

Ce groupe ne change rien à l'exploration : les robots continuent d'indexer vos pages. À l'inverse, un User-agent: * ne vaut pas refus d'entraînement.

Le piège Gemini

• Ce qui n'est pas touché : les AI Overviews et l'AI Mode, qui dépendent de Googlebot.
• Pour rester dans l'app Gemini : ajoutez un groupe User-agent: Google-Extended avec Allow: /. Vous accepterez alors aussi l'entraînement de Gemini : Google lie les deux usages.

Au-delà du robots.txt : Google, Bing, Cloudflare et llms.txt

Le robots.txt agit par site et par chemin. Pour les réponses IA de Google et de Bing, les réglages les plus fins se trouvent ailleurs.

Google : vérifiez le réglage de la Search Console

Depuis le 31 août 2026, tous les sites peuvent s'exclure des fonctions d'IA générative de Google Search (Paramètres, « Search generative AI »). Par défaut, le site est inclus. Le réglage vaut pour la propriété et ses sous-propriétés (qui peuvent le modifier). Il ne touche ni l'app Gemini ni l'entraînement.

Pour le GEO, c'est un réglage à contrôler, jamais à activer par réflexe.

Bing : entraînement et réponses IA enfin séparés

Bing permet de refuser l'entraînement tout en restant dans Copilot :

<meta name="Bingbot" content="ai-training:disallow">

Bing applique ces préférences à partir du 1er février 2027 (annonce de Bing).

Cloudflare : contrôlez ce qu'il publie pour vous

Cloudflare peut rédiger votre robots.txt à votre place :

• « Disallow AI Training » refuse l'entraînement et laisse passer les robots de recherche ;
• les options « Block » bloquent les robots concernés, recherche comprise.

Après chaque changement, ouvrez le fichier réellement servi en ligne.

Et le llms.txt ?

Le llms.txt ne bloque ni n'autorise rien : c'est un plan de lecture proposé aux agents. Google indique qu'aucun fichier spécifique à l'IA n'est nécessaire pour apparaître dans les AI Overviews. Publiez-le si vous voulez, une fois votre robots.txt en ordre.

Les 8 erreurs qui vous rendent invisible pour les IA

La plupart des sites absents des réponses IA ne l'ont pas décidé. Ils ont copié une liste trop large ou laissé un outil décider à leur place.

1. Copier une liste « bloquer toutes les IA ». Ces listes mélangent entraînement et recherche. Vous visez GPTBot, vous bloquez aussi OAI-SearchBot et PerplexityBot.
2. Oublier que le groupe * ne s'applique plus. Un robot qui a son propre groupe ignore les règles générales. Répétez vos exclusions dans chaque groupe.
3. Laisser le fichier répondre en erreur. Une erreur 5xx sur /robots.txt vaut interdiction totale pour les robots qui suivent la RFC 9309.
4. Laisser le pare-feu contredire le fichier. Un CDN ou une protection anti-bot peut renvoyer une 403 à un robot autorisé. Google rappelle que l'exploration doit être permise par le robots.txt et par toute l'infrastructure.
5. Viser des noms obsolètes. anthropic-ai, Claude-Web ou FacebookBot ne protègent plus rien.
6. Bloquer une page pour la désindexer. Un robot qui ne peut pas lire la page ne voit pas non plus sa balise noindex. Laissez-la explorable et utilisez la balise.
7. Charger le contenu en JavaScript. Plusieurs robots IA lisent le HTML sans exécuter de JavaScript. Un texte affiché côté client peut leur rester invisible (voir notre analyse sur l'audit technique à l'ère de l'IA).
8. Croire que le robots.txt efface le passé. Une règle ne vaut que pour l'avenir. Elle ne retire rien d'un modèle déjà entraîné.

Comment tester son robots.txt pour l'IA en 5 étapes

Un robots.txt bien écrit ne prouve rien tant que les robots n'atteignent pas vos pages. Refaites ce contrôle après chaque mise en production.

1. Ouvrir le fichier servi en ligne

Ouvrez https://www.votresite.fr/robots.txt dans un navigateur. Attendu : un code 200, du texte brut UTF-8, moins de 500 Kio. Faites de même pour chaque sous-domaine public.

2. Tester les règles robot par robot

Le rapport robots.txt de la Search Console signale les erreurs de récupération. Pour chaque robot de la famille indexation, vérifiez qu'une URL clé (accueil, page produit, article) est autorisée.

3. Simuler la visite d'un robot

Cette commande révèle un pare-feu qui filtre par user-agent. Elle ne détecte pas un filtrage par adresse IP.

curl -I -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://www.votresite.fr/page-cle/

Une réponse 403 signale un blocage. Si vous filtrez par IP, autorisez les plages publiées par les éditeurs (par exemple openai.com/searchbot.json).

4. Lire les logs serveur

Cherchez les visites de OAI-SearchBot, Claude-SearchBot, PerplexityBot et ChatGPT-User. Elles doivent recevoir des réponses 200. Laissez 24 heures après une modification : OpenAI, Meta et Google peuvent garder l'ancien fichier en cache.

5. Mesurer l'effet sur vos citations

Relevez vos citations par moteur IA avant la modification, puis quelques semaines après. Le GEO Scan de BotRank contrôle l'accès des robots IA page par page. Le suivi de visibilité multi-LLM montre ensuite l'effet réel, moteur par moteur.

La checklist récapitulative

• Le fichier répond en 200, en UTF-8, sous 500 Kio
• Chaque sous-domaine public a son robots.txt
• Aucun robot d'indexation n'est bloqué sur vos pages stratégiques
• Les exclusions générales sont répétées dans chaque groupe
• La ligne Sitemap: pointe vers un sitemap à jour
• Le CDN ne renvoie pas de 403 aux robots autorisés
• Search Console : « Search generative AI » est sur « Inclure »
• Aucune protection IA ne repose sur noarchive après le 1er mars 2027

FAQ : robots.txt et intelligence artificielle

Qu'est-ce que le fichier robots.txt ?

C'est un fichier texte placé à la racine d'un site. Il indique aux robots d'exploration, ceux des moteurs de recherche comme ceux des IA, les pages qu'ils peuvent visiter. Son format est normalisé par la RFC 9309. Il exprime une demande : les robots sérieux la respectent, mais il ne bloque rien techniquement.

Où se trouve le fichier robots.txt ?

Toujours à la racine du domaine : https://www.votresite.fr/robots.txt. Chaque sous-domaine a le sien. Sur WordPress, le fichier peut être généré automatiquement. Yoast SEO et Rank Math permettent de le modifier sans accès au serveur.

Faut-il bloquer les robots IA ?

Pas les robots d'indexation : ce sont eux qui vous rendent citable dans ChatGPT, Claude, Perplexity ou Copilot. Le seul arbitrage porte sur l'entraînement. Une marque a souvent intérêt à l'accepter. Un média ou un éditeur de contenus payants a plus de raisons de le refuser.

Bloquer GPTBot me retire-t-il de ChatGPT ?

Non. GPTBot ne sert qu'à l'entraînement. Votre présence dans ChatGPT Search dépend d'OAI-SearchBot. OpenAI précise que les deux réglages sont indépendants.

Qu'est-ce que ClaudeBot ?

C'est le robot d'Anthropic qui collecte des contenus pour entraîner les modèles Claude. Le bloquer ne vous retire pas des réponses de Claude : la recherche web de Claude passe par Claude-SearchBot et les lectures à la demande par Claude-User.

Bloquer Google-Extended me retire-t-il des AI Overviews ?

Non. Les AI Overviews et l'AI Mode reposent sur Googlebot. Google-Extended contrôle l'entraînement de Gemini et le grounding de l'application Gemini et de Vertex AI.

Comment sortir des AI Overviews sans quitter Google ?

Avec le réglage « Search generative AI » de la Search Console, ouvert à tous les sites depuis le 31 août 2026. Google indique qu'il n'est pas utilisé comme signal de classement pour le reste de la recherche.

Toutes les IA respectent-elles le robots.txt ?

Les grands éditeurs s'y engagent pour leurs robots d'indexation et d'entraînement. Les lectures déclenchées par un utilisateur (ChatGPT-User, Perplexity-User, Meta-ExternalFetcher) peuvent ne pas l'appliquer. Pour un blocage strict, seul un contrôle côté serveur est fiable.

Combien de temps faut-il pour qu'une modification soit prise en compte ?

Comptez environ 24 heures pour le fichier. OpenAI, Meta et Google le gardent en cache jusqu'à une journée. L'effet sur les citations peut prendre plusieurs semaines, le temps que les pages soient de nouveau explorées.

Le llms.txt remplace-t-il le robots.txt ?

Non. Le llms.txt propose un plan de lecture aux agents, sans rien autoriser ni interdire. Les autorisations restent dans le robots.txt.

Sources principales

• RFC 9309, Robots Exclusion Protocol
• Brouillon IETF sur le jeton __usage_ai-training
• Google, annonce du contrôle commun d'entraînement (30 octobre 2026)
• Google, Search generative AI control
• Google, AI features and your website
• OpenAI, Overview of OpenAI Crawlers
• Anthropic, robots d'exploration de Claude
• Microsoft Bing, nouvelles préférences d'entraînement et de grounding
• IPTC Metawatch, AI preferences and opt-out signals

Documentation des autres éditeurs : Perplexity, Meta, Mistral AI, Cloudflare.