i am rank
User-agent: GPTBot

Vois ta page comme GPTBot la voit

Robots.txt, pare-feu et page sans JavaScript : ce que les robots IA récupèrent vraiment.

10 ROBOTS IA · ROBOTS.TXT, PARE-FEU ET PAGE SANS JAVASCRIPT

Gratuit, sans email. On lit ta page publique, comme un robot.

Trois façons de disparaître sans le savoir

Ton site marche très bien pour un humain. Pour un robot IA, il peut être fermé, vide ou hostile, et rien ne te prévient.

  • Ton contenu arrive en JavaScript

    La plupart des robots IA ne l'exécutent pas. Si ton texte est injecté après le chargement, ils repartent avec une coquille vide.

  • Ton robots.txt leur ferme la porte

    Un Disallow hérité d'un vieux réglage, ou recopié d'un modèle, et un robot entier ne passe plus. Rien ne casse côté humain, donc personne ne le voit.

  • Ton pare-feu les prend pour des attaquants

    Certains CDN refoulent les robots IA par défaut. Le robots.txt dit oui, le serveur répond 403.

Tous les robots IA n'ont pas le même rôle

Chaque éditeur envoie plusieurs robots. Bloquer l'un n'a pas les mêmes conséquences que bloquer l'autre.

  • Entraînement

    GPTBotClaudeBotCCBot

    Collectent des pages pour entraîner les prochains modèles.

    Si tu les bloques : tu restes dans les réponses d'aujourd'hui, mais les modèles de demain en sauront moins sur toi.

  • Recherche

    OAI-SearchBotClaude-SearchBotPerplexityBot

    Indexent ton site pour les réponses avec sources, celles qui citent et renvoient un lien.

    Si tu les bloques : tu sors de la recherche de ChatGPT, Claude et Perplexity.

  • À la demande

    ChatGPT-UserClaude-User

    Passent quand quelqu'un demande à l'IA de lire une page précise.

    Si tu les bloques : tu refuses une visite qu'un humain vient de demander.

Google-Extended et Applebot-Extended ne visitent rien : ce sont des mots-clés de robots.txt qui disent à Google et à Apple si tes pages peuvent servir à leurs IA.

Est-ce vraiment ce que voit GPTBot ?

Presque. On lit ton robots.txt exactement comme lui, et on demande ta page avec son identité, sans exécuter de JavaScript, comme il le fait. La seule différence : la requête part de nos serveurs, pas de ceux d'OpenAI. Un pare-feu qui vérifie l'adresse IP des robots peut donc répondre autrement au vrai GPTBot.

Faut-il laisser passer tous les robots IA ?

Pas forcément, mais bloque en connaissance de cause. Refuser les robots d'entraînement ne te retire pas des réponses d'aujourd'hui. Refuser les robots de recherche, si. Pour une marque qui veut être citée, tout laisser passer reste le plus simple.

Ma page est construite en JavaScript, c'est grave ?

Si ton texte principal n'apparaît qu'après l'exécution du JavaScript, oui : pour la plupart des robots IA, la page est vide. La solution passe par le rendu côté serveur ou le pré-rendu, pas par un réglage de robots.txt.

Les robots passent ? Donne-leur un plan.

Ton llms.txt leur dit ce que tu fais et quelles pages lire en premier. Une adresse, un clic, le fichier est prêt.

Générer mon llms.txt