robots.txt
Aussi appelé : fichier robots.txt, protocole d'exclusion des robots
Définition
Le robots.txt est un fichier texte placé à la racine d'un site, qui donne des consignes aux robots d'exploration : pour chaque robot, identifié par son nom (user-agent), il indique les chemins autorisés et interdits. Son format a été standardisé en 2022 par l'IETF, sous la référence RFC 9309.
Les robots des IA respectent en principe ces consignes, et chacun a son nom : GPTBot et OAI-SearchBot pour OpenAI, ClaudeBot et Claude-SearchBot pour Anthropic, PerplexityBot, ou encore Google-Extended pour les usages IA de Google. Une seule ligne mal placée peut fermer ton site à tout un moteur.
Exemple
« User-agent: GPTBot » suivi de « Disallow: / » interdit tout le site au robot d'entraînement d'OpenAI. Beaucoup de sites ont ajouté ces lignes en 2023 par précaution, sans mesurer ce qu'elles coûtent aujourd'hui en visibilité.
Ce que ça change pour ta visibilité IA
Relis ton robots.txt en gardant en tête la différence entre robots d'entraînement et robots de recherche. Bloquer les seconds, c'est renoncer à être cité dans les réponses de leur moteur.
Outil gratuitSimulateur de crawler IAVois ta page comme GPTBot, ClaudeBot et PerplexityBot la voient.Termes liés
- Crawler IAUn crawler IA est un robot qui parcourt le web pour le compte d'une entreprise d'IA, afin d'entraîner ses modèles ou d'alimenter ses réponses.
- GPTBotGPTBot est le robot d'OpenAI qui collecte des pages pour entraîner ses modèles. OpenAI utilise d'autres robots pour la recherche de ChatGPT.
- Google-ExtendedGoogle-Extended est un identifiant du robots.txt pour refuser que ses pages servent aux modèles Gemini. Il n'a aucun effet sur la recherche Google.
- llms.txtLe llms.txt est un fichier placé à la racine d'un site qui présente la marque aux IA et liste les pages à lire en priorité.
Mis à jour le · Tous les termes du glossaire