Web Bot Auth (authentification des robots web)
Definition
Le Web Bot Auth est un système d'authentification cryptographique qui permet à un robot ou à un agent IA de prouver son identité auprès d'un site via une requête HTTP signée numériquement, au lieu de s'appuyer sur une chaîne user agent ou une plage d'adresses IP que n'importe qui peut falsifier. Il s'appuie sur les HTTP Message Signatures (RFC 9421 de l'IETF), avec une spécification propre au web publiée en 2025 et adoptée par Cloudflare dans son programme Verified Bots à partir de mi-2025.
Concrètement, un robot publie une clé publique à un emplacement standard et connu sur son propre domaine, puis signe chaque requête qu'il envoie avec la clé privée correspondante. Le serveur qui reçoit la requête, ou le CDN placé devant lui, vérifie cette signature par rapport à la clé publiée et peut contrôler sa date de création et d'expiration, ce qui empêche à la fois l'usurpation (un imposteur se faisant passer pour GPTBot ou ClaudeBot) et le rejeu (la réutilisation d'une ancienne signature interceptée).
C'est directement pertinent pour la gestion des crawlers IA : sans preuve cryptographique, un opérateur de site qui gère l'accès via son fichier robots.txt ou un fichier llms.txt doit faire confiance au fait qu'une requête prétendant être un crawler IA en est bien un, exactement la faille qu'exploitent les scrapers et les imposteurs. Le Web Bot Auth comble cet écart en rendant l'identité d'un robot prouvable plutôt que simplement déclarée.
Pour les sites qui investissent dans leur visibilité IA, cela fait passer la gestion des accès d'une logique de blocage ou d'autorisation en bloc vers une confiance sélective et vérifiable : un éditeur peut autoriser en confiance un crawler ChatGPT ou Perplexity vérifié tout en bloquant un scraper non vérifié prétendant à la même identité. Vérifier si les règles d'accès des crawlers d'un site reposent sur ce type de confiance vérifiable fait partie de ce que couvrent les audits techniques de BotRank.
Exemples
Un éditeur remarque un pic de trafic de scraping sous une chaîne user agent qui prétend être un crawler de recherche IA, alors que son trafic réel en provenance de ce même moteur IA est vérifié séparément via le programme Verified Bots de Cloudflare. Le Web Bot Auth lui permet de distinguer les deux avec une certitude cryptographique plutôt que de deviner à partir du seul en-tête.
Foire aux questions
Pourquoi un site ne peut-il pas simplement faire confiance à la chaîne user agent d'un crawler ?
Une chaîne user agent n'est qu'une ligne de texte envoyée avec une requête, que n'importe qui peut définir pour prétendre être GPTBot, ClaudeBot ou tout autre crawler, sans aucune vérification requise. Cela rend les chaînes user agent peu fiables pour distinguer un vrai crawler IA d'un scraper qui l'imite, exactement l'écart que le Web Bot Auth est conçu pour combler grâce à une preuve cryptographique.
Sur quel standard repose le Web Bot Auth ?
Il s'appuie sur les HTTP Message Signatures, standardisées par l'IETF sous la RFC 9421, avec une spécification Web Bot Auth propre au web publiée en 2025. Cloudflare l'a intégré à son programme Verified Bots à partir de mi-2025. L'IETF a évoqué la formation d'un groupe de travail dédié pour approfondir la standardisation de cette approche.
Adopter le Web Bot Auth signifie-t-il laisser passer tous les crawlers IA ?
Non. Vérifier l'identité d'un robot et décider de lui accorder l'accès sont deux étapes distinctes. Le Web Bot Auth prouve seulement qu'une requête provient bien du crawler qu'elle prétend être ; c'est toujours l'opérateur du site qui décide, via son fichier robots.txt et des règles similaires, quels crawlers vérifiés autoriser et lesquels bloquer.
Quel est le lien entre le Web Bot Auth et le llms.txt ?
Ils répondent à deux problèmes différents. Le <a href="/fr/glossaire/llms-txt">llms.txt</a> indique aux crawlers IA comment lire et prioriser le contenu d'un site une fois qu'ils y arrivent. Le Web Bot Auth prouve que le crawler à l'origine de la requête est bien celui qu'il prétend être avant même que ce contenu ne soit servi, ce qui en fait une couche de sécurité et de confiance plutôt qu'une couche de guidage de contenu.
