MyClawn AI Search Audit › Crawlers IA

GPTBot et les autres crawlers IA : que autoriser dans robots.txt

Bloquer le mauvais robot peut vous retirer des réponses de ChatGPT ou de Perplexity tout en laissant l'entraînement intact, ou l'inverse. Voici ce que fait chaque robot selon son exploitant, ainsi qu'un robots.txt qui vous garde visible.

Robots d'entraînement, robots de recherche et récupérateurs d'utilisateurs

Robot d'exploration	Finalité déclarée par l'exploitant	Respecte robots.txt	Si vous le bloquez
GPTBot	Collecte du contenu susceptible de servir à entraîner les modèles d'OpenAI (OpenAI)	Oui	Vous retire de l'entraînement ; ne vous retire pas à lui seul de la recherche ChatGPT
OAI-SearchBot	Fait apparaître les sites dans les fonctionnalités de recherche ChatGPT (OpenAI)	Oui	« N'apparaîtra pas dans les réponses de la recherche ChatGPT », bien que des liens de navigation puissent encore apparaître
ChatGPT-User	Visite des pages lorsqu'un utilisateur demande quelque chose à ChatGPT ou à un GPT personnalisé (OpenAI)	Les règles « peuvent ne pas s'appliquer »	Non utilisé pour décider de l'inclusion dans la recherche
PerplexityBot	Fait apparaître et relie les sites dans les résultats de Perplexity ; non utilisé pour l'entraînement (Perplexity)	Oui	Hors des résultats de recherche de Perplexity
Perplexity-User	Récupère une page lorsqu'un utilisateur pose une question (Perplexity)	Généralement ignoré	Effet minime
Google-Extended	Jeton robots.txt pour l'entraînement et l'ancrage de Gemini (Google)	Oui (jeton seulement, pas de robot distinct)	N'affecte ni l'inclusion ni le classement dans la recherche Google
Googlebot, Bingbot	Indexation pour la recherche	Oui	Hors de la recherche, et hors des réponses d'IA qui s'appuient sur elle

Un robots.txt qui reste visible mais se retire de l'entraînement

Si vous voulez apparaître dans les réponses de recherche IA sans que vos pages servent à entraîner des modèles, voici le schéma courant :

User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml

Remplacez le domaine, conservez les règles existantes pour vos chemins d'administration ou de panier, et gardez à l'esprit qu'un bloc User-agent: * ne remplace pas un bloc nommé : un robot suit le groupe le plus spécifique qui le nomme. Si vous acceptez d'être utilisé pour l'entraînement, laissez GPTBot et Google-Extended autorisés.

OpenAI indique que les changements dans la recherche peuvent prendre environ 24 heures après la mise à jour de robots.txt.

Collez l'adresse de votre site. Starter $39/mois · Pro $129/mois. Remboursement sous 14 jours si le résultat n'est pas au rendez-vous.

Auditer mon site

L'erreur que nous voyons le plus souvent : le pare-feu dit non

robots.txt est une demande ; votre CDN ou votre pare-feu est ce qui répond réellement. Les interrupteurs « Bloquer les robots IA » des CDN et des extensions de sécurité, les modes anti-bot et les limites de débit peuvent renvoyer 403 ou 429 aux robots de recherche que robots.txt autorise. Vu de l'extérieur, le site semble ouvert ; pour OAI-SearchBot, il est fermé.

C'est pourquoi notre audit ne se limite pas à lire robots.txt. Il récupère votre page d'accueil avec l'user agent de chaque robot et consigne le code HTTP dans un tableau, afin qu'un blocage apparaisse sous forme de chiffre, et non d'hypothèse. (Un pare-feu qui vérifie les plages IP peut tout de même traiter nos requêtes différemment du vrai robot ; le rapport indique quand un résultat doit être confirmé dans les journaux de votre CDN.)

Décisions selon le type d'entreprise

Vous êtes	En général
Une entreprise de services locale	Autorisez les robots d'exploration des moteurs de recherche (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot). Robots d'entraînement : à votre choix ; la plupart des entreprises locales n'ont rien à gagner à les bloquer.
Une entreprise B2B ou SaaS	Autorisez les robots d'exploration des moteurs de recherche. Ne bloquez les robots d'entraînement que pour les chemins de contenu protégés par connexion ou propriétaires.
Un éditeur avec du contenu payant	Un véritable compromis ; décidez section par section. Ce n'est pas notre cœur de cible.

Ce que vous apporte l'audit

fixes/robots-check.txt avec les lignes exactes à modifier, ou « aucune modification nécessaire », ainsi que le tableau des robots d'exploration dans le rapport : chaque robot, sa règle dans robots.txt et le statut HTTP obtenu. En savoir plus sur le fonctionnement.

Pourquoi nous avons créé cet outil : nous exploitons nos propres produits logiciels et mesurons, dans nos propres analyses, d'où viennent les inscriptions. Sur 34 jours, les visiteurs venant de ChatGPT ont généré 46 inscriptions sur un produit, 27 sur un deuxième et 15 sur un troisième ; Gemini en a apporté 11. Les visiteurs de ChatGPT sont passés de la visite à l'inscription dans environ 31 % des cas (analyses internes, novembre 2026). C'est un canal modeste à côté de Google, mais il convertit, et nous voulions les mêmes vérifications pour chaque site que nous exploitons. Cet audit reprend ces vérifications, rédigées pour votre site.

Questions

Bloquer GPTBot vous retire-t-il de ChatGPT ?

Pas de la recherche ChatGPT, selon la documentation d'OpenAI : l'inclusion dans la recherche est contrôlée par OAI-SearchBot.

Bloquer Google-Extended nuit-il à votre classement Google ?

Google indique que cela n'affecte ni l'inclusion ni le classement dans la Recherche Google.

Puis-je vérifier qu'une requête provient bien de GPTBot ?

OpenAI publie les plages d'adresses IP de ses robots d'exploration ; vérifiez-les dans les journaux de votre serveur ou de votre CDN.

Collez l'adresse de votre site. Starter $39/mois · Pro $129/mois. Remboursement sous 14 jours si le résultat n'est pas au rendez-vous.

Auditer mon site

En savoir plus sur AI Search Audit

Lancer une tâche Tarifs Comment ça marche Qu'est-ce que le GEO ?AEO ou SEO Alternatives FAQ llms.txt

Sources (consultées le 2026-11-09) : developers.openai.com/api/docs/bots · docs.perplexity.ai/guides/bots · developers.google.com/crawling/docs/crawlers-fetchers/google-common-cr