MyClawn AI Search Audit › Crawlers de IA

GPTBot e os outros crawlers de IA: o que permitir no robots.txt

Bloquear o bot errado pode tirar você das respostas do ChatGPT ou do Perplexity e deixar o treinamento intacto, ou o contrário. Aqui está o que cada rastreador faz, segundo quem o opera, e um robots.txt que mantém você visível.

Bots de treinamento vs. bots de busca vs. buscadores sob demanda

Rastreador	Finalidade declarada pelo operador	Respeita o robots.txt	Se você bloquear
GPTBot	Coleta conteúdo que pode treinar os modelos da OpenAI (OpenAI)	Sim	Você sai do treinamento; isso sozinho não remove você da busca do ChatGPT
OAI-SearchBot	Exibe sites nos recursos de busca do ChatGPT (OpenAI)	Sim	"Não será exibido nas respostas da busca do ChatGPT", embora links de navegação ainda possam aparecer
ChatGPT-User	Visita páginas quando um usuário pede algo ao ChatGPT ou a um GPT personalizado (OpenAI)	As regras "podem não se aplicar"	Não é usado para decidir a inclusão na busca
PerplexityBot	Exibe e linka sites nos resultados do Perplexity; não é usado para treinamento (Perplexity)	Sim	Fora dos resultados de busca do Perplexity
Perplexity-User	Busca uma página quando um usuário faz uma pergunta (Perplexity)	Geralmente ignora	Pouco efeito
Google-Extended	Token do robots.txt para treinamento e embasamento do Gemini (Google)	Sim (apenas token, sem bot separado)	Não afeta a inclusão nem o ranqueamento na Busca Google
Googlebot, Bingbot	Indexação de busca	Sim	Fora da busca e das respostas de IA baseadas nela

Um robots.txt que continua visível, mas opta por não treinar

Se você quer aparecer nas respostas de busca de IA sem que suas páginas sejam usadas para treinar modelos, este é o padrão comum:

User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml

Troque o domínio, mantenha as regras existentes para suas áreas de administração ou carrinho, e lembre-se de que um bloco User-agent: * não substitui um bloco nomeado: um bot segue o grupo mais específico que o nomeia. Se você não se importa em ser usado para treinamento, deixe GPTBot e Google-Extended permitidos.

A OpenAI observa que mudanças na busca podem levar cerca de 24 horas para valer depois que você atualiza o robots.txt.

Cole o endereço do seu site. Starter $39/mês · Pro $129/mês. Reembolso em até 14 dias se não atender.

Auditar meu site

O erro que mais vemos: o firewall diz não

O robots.txt é um pedido; quem de fato responde é o seu CDN ou firewall. Opções de "bloquear bots de IA" em CDNs e plugins de segurança, modos de proteção contra bots e limites de taxa podem retornar 403 ou 429 para rastreadores de busca que o robots.txt permite. De fora, o site parece aberto; para o OAI-SearchBot, ele está fechado.

Por isso, nossa auditoria não para na leitura do robots.txt. Ela busca a sua página inicial com o user agent de cada rastreador e registra o status HTTP em uma tabela, para que um bloqueio apareça como um número, e não como um palpite. (Um firewall que verifica faixas de IP ainda pode tratar nossas requisições de forma diferente do bot real; o relatório indica quando um resultado precisa ser confirmado nos logs do seu CDN.)

Decisões por tipo de negócio

Você é	Normalmente
Uma empresa de serviços locais	Permita os rastreadores de busca (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot). Rastreadores de treinamento: você decide; a maioria das empresas locais não ganha nada ao bloqueá-los.
B2B ou SaaS	Permita os rastreadores de busca. Bloqueie rastreadores de treinamento apenas em caminhos de conteúdo restrito ou proprietário.
Um editor com conteúdo pago	Um trade-off real; decida por seção. Não é o nosso público principal.

O que a auditoria oferece

fixes/robots-check.txt com as linhas exatas a alterar, ou "no change needed", além da tabela de rastreadores no relatório: cada bot, a regra correspondente no robots.txt e o status HTTP que obtivemos. Leia mais sobre como funciona.

Por que criamos isto: executamos nossos próprios produtos de software e medimos, em nossa própria análise, de onde vêm os cadastros. Em 34 dias, visitantes vindos do ChatGPT geraram 46 cadastros em um produto, 27 em um segundo e 15 em um terceiro; o Gemini enviou 11. Os visitantes do ChatGPT converteram de visita para cadastro em cerca de 31% (análise interna, novembro de 2026). É um canal pequeno perto do Google, mas converte, e quisemos as mesmas verificações para cada site que executamos. Esta auditoria são essas verificações, documentadas para o seu site.

Perguntas

Bloquear o GPTBot me remove do ChatGPT?

Não da busca do ChatGPT, segundo a documentação da OpenAI: a inclusão na busca é controlada pelo OAI-SearchBot.

Bloquear o Google-Extended prejudica meu ranking no Google?

O Google diz que isso não afeta a inclusão nem o ranking na Pesquisa Google.

Posso verificar se uma requisição realmente vem do GPTBot?

A OpenAI publica faixas de IP para seus rastreadores; verifique-as nos logs do seu servidor ou CDN.

Cole o endereço do seu site. Starter $39/mês · Pro $129/mês. Reembolso em até 14 dias se não atender.

Auditar meu site

Mais sobre AI Search Audit

Iniciar um trabalho Preços Como funciona O que é GEO AEO vs SEO Alternativas FAQ llms.txt

Fontes (consultadas em 2026-11-09): developers.openai.com/api/docs/bots · docs.perplexity.ai/guides/bots · developers.google.com/crawling/docs/crawlers-fetchers/google-common-cr