GPTBot et OAI-SearchBot
Aussi appelé : robot d'OpenAI, user-agent GPTBot
Définition
GPTBot est le robot d'exploration qu'OpenAI utilise, depuis 2023, pour collecter des pages susceptibles d'entraîner ses futurs modèles. Il s'identifie avec la mention GPTBot dans son user-agent et respecte les consignes du robots.txt.
OpenAI utilise deux autres robots. OAI-SearchBot indexe le web pour ChatGPT Search : le bloquer empêche un site d'apparaître dans les résultats de recherche de ChatGPT. ChatGPT-User passe quand un utilisateur demande à ChatGPT de consulter une page précise. Bloquer GPTBot n'a donc pas le même effet que bloquer OAI-SearchBot.
Exemple
Un média qui refuse que ses articles servent à l'entraînement peut bloquer GPTBot tout en laissant passer OAI-SearchBot, pour continuer à être cité dans les réponses de ChatGPT.
Ce que ça change pour ta visibilité IA
Pour une marque qui veut être recommandée, bloquer OAI-SearchBot est presque toujours une erreur. Bloquer GPTBot est un choix, qui réduit à terme ce que les modèles savent de toi.
Outil gratuitSimulateur de crawler IAVois ta page comme GPTBot, ClaudeBot et PerplexityBot la voient.Termes liés
- Crawler IAUn crawler IA est un robot qui parcourt le web pour le compte d'une entreprise d'IA, afin d'entraîner ses modèles ou d'alimenter ses réponses.
- robots.txtLe robots.txt est le fichier qui indique aux robots d'exploration, dont ceux des IA, quelles parties d'un site ils ont le droit de visiter.
- ChatGPT SearchChatGPT Search est la fonction de recherche web de ChatGPT : il consulte des pages au moment de répondre et cite ses sources.
- Google-ExtendedGoogle-Extended est un identifiant du robots.txt pour refuser que ses pages servent aux modèles Gemini. Il n'a aucun effet sur la recherche Google.
Mis à jour le · Tous les termes du glossaire