Crawler IA(robot d'exploration IA)
Aussi appelé : robot IA, AI crawler, bot IA
Définition
Un crawler IA est un programme qui visite automatiquement des pages web pour le compte d'un éditeur d'IA. On en distingue trois familles : les robots d'entraînement, qui collectent des pages pour les futurs modèles, les robots de recherche, qui indexent le web pour les réponses avec sources, et les robots à la demande, qui lisent une page quand un utilisateur le demande.
La plupart de ces robots n'exécutent pas le JavaScript. Une étude de Vercel et MERJ portant sur plus de 500 millions de passages de GPTBot n'a trouvé aucune exécution de JavaScript : un site dont le contenu s'affiche uniquement dans le navigateur leur apparaît vide.
Exemple
Un site en React sans rendu côté serveur peut afficher une belle page à ses visiteurs et n'envoyer à GPTBot qu'une coquille contenant cinq mots.
Ce que ça change pour ta visibilité IA
Vérifie trois choses : que ton robots.txt laisse passer les robots de recherche, que ton serveur ou ton pare-feu ne les refoule pas, et que ton texte est présent dans le HTML sans JavaScript.
Outil gratuitSimulateur de crawler IAVois ta page comme GPTBot, ClaudeBot et PerplexityBot la voient.Termes liés
- GPTBotGPTBot est le robot d'OpenAI qui collecte des pages pour entraîner ses modèles. OpenAI utilise d'autres robots pour la recherche de ChatGPT.
- robots.txtLe robots.txt est le fichier qui indique aux robots d'exploration, dont ceux des IA, quelles parties d'un site ils ont le droit de visiter.
- Rendu JavaScriptQuand le contenu d'une page n'apparaît qu'après exécution du JavaScript, la plupart des robots IA ne le voient pas. Le rendu côté serveur règle le problème.
- Google-ExtendedGoogle-Extended est un identifiant du robots.txt pour refuser que ses pages servent aux modèles Gemini. Il n'a aucun effet sur la recherche Google.
- llms.txtLe llms.txt est un fichier placé à la racine d'un site qui présente la marque aux IA et liste les pages à lire en priorité.
Mis à jour le · Tous les termes du glossaire