MyClawn AI Search Audit › Rastreadores de IA

GPTBot y otros rastreadores de IA: qué permitir en robots.txt

Bloquear el bot equivocado puede sacarte de las respuestas de ChatGPT o de otros buscadores con IA sin tocar el entrenamiento, o al revés. Aquí tienes lo que hace cada rastreador según su operador, y un robots.txt que te mantiene visible.

Bots de entrenamiento vs bots de búsqueda vs usuarios que descargan páginas

Crawler	Finalidad declarada por el operador	Respeta robots.txt	Si lo bloqueas
GPTBot	Recopila contenido que puede usarse para entrenar los modelos de OpenAI (OpenAI)	Sí	Te excluyes del entrenamiento; por sí solo no te quita de la búsqueda de ChatGPT
OAI-SearchBot	Muestra sitios web en las funciones de búsqueda de ChatGPT (OpenAI)	Sí	«No se mostrará en las respuestas de búsqueda de ChatGPT», aunque los enlaces de navegación pueden seguir apareciendo
ChatGPT-User	Visita páginas cuando un usuario le pide algo a ChatGPT o a un GPT personalizado (OpenAI)	Las reglas «pueden no aplicarse»	No se usa para decidir la inclusión en la búsqueda
PerplexityBot	Muestra y enlaza sitios en los resultados de Perplexity; no se usa para entrenamiento (Perplexity)	Sí	Fuera de los resultados de búsqueda de Perplexity
Perplexity-User	Obtiene una página cuando un usuario hace una pregunta (Perplexity)	Generalmente la ignora	Poco efecto
Google-Extended	Token de robots.txt para el entrenamiento y la fundamentación de Gemini (Google)	Sí (solo token, sin bot aparte)	No afecta la inclusión ni el posicionamiento en la búsqueda de Google
Googlebot, Bingbot	Indexación de búsqueda	Sí	Fuera de la búsqueda, y fuera de las respuestas de IA que se construyen sobre ella

Un robots.txt que sigue siendo visible pero excluye el entrenamiento

Si quieres aparecer en las respuestas de búsqueda de IA pero no que tus páginas se usen para entrenar modelos, este es el patrón habitual:

User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml

Cambia el dominio, conserva las reglas existentes para tus rutas de administración o carrito, y recuerda que un bloque User-agent: * no anula un bloque con nombre: un bot sigue el grupo más específico que lo nombra. Si te parece bien que se use para entrenamiento, deja GPTBot y Google-Extended permitidos.

OpenAI indica que los cambios en la búsqueda pueden tardar unas 24 horas en aplicarse después de actualizar robots.txt.

Pega la dirección de tu sitio web. Starter $39/mes · Pro $129/mes. Reembolso en un plazo de 14 días si no cumple.

Auditar mi sitio

El error que más vemos: el cortafuegos dice que no

robots.txt es una petición; lo que realmente responde es tu CDN o cortafuegos. Los interruptores de "bloquear bots de IA" en CDNs y plugins de seguridad, los modos anti-bots y los límites de tasa pueden devolver 403 o 429 a rastreadores de búsqueda que robots.txt sí permite. Desde fuera, el sitio parece abierto; para OAI-SearchBot, está cerrado.

Por eso nuestra auditoría no se limita a leer robots.txt. Descarga tu página de inicio con el user agent de cada rastreador y registra el código de estado HTTP en una tabla, así que un bloqueo aparece como un número, no como una suposición. (Un cortafuegos que revisa rangos de IP puede seguir tratando nuestras solicitudes de forma distinta al bot real; el informe indica cuándo un resultado necesita confirmarse en los logs de tu CDN.)

Decisiones según el tipo de negocio

Eres	Normalmente
Un negocio de servicios locales	Permite los rastreadores de búsqueda (OAI-SearchBot, PerplexityBot, Bingbot, Googlebot). Bots de entrenamiento: tú decides; a la mayoría de los negocios locales bloquearlos no les aporta nada.
B2B o SaaS	Permite los rastreadores de búsqueda. Bloquea los bots de entrenamiento solo en las rutas de contenido restringido o propietario.
Un editor con contenido de pago	Es un verdadero compromiso; decide por sección. No es nuestro público principal.

Lo que te da la auditoría

fixes/robots-check.txt con las líneas exactas que hay que cambiar, o "no change needed", además de la tabla de rastreadores en el informe: cada bot, su regla en robots.txt y el estado HTTP que obtuvimos. Lee más sobre cómo funciona.

Por qué lo creamos: ejecutamos nuestros propios productos de software y medimos, en nuestra propia analítica, de dónde llegan los registros. Durante 34 días, las visitas procedentes de ChatGPT generaron 46 registros en un producto, 27 en un segundo y 15 en un tercero; Gemini envió 11. Las visitas de ChatGPT se convirtieron de visita a registro en torno al 31 % (analítica interna, noviembre de 2026). Es un canal pequeño junto a Google, pero convierte, y queríamos las mismas comprobaciones para cada sitio que gestionamos. Esta auditoría son esas comprobaciones, documentadas para tu sitio.

Preguntas

¿Bloquear GPTBot me saca de ChatGPT?

No de ChatGPT search, según la documentación de OpenAI: la inclusión en la búsqueda la controla OAI-SearchBot.

¿Bloquear Google-Extended perjudica mis posiciones en Google?

Google dice que no afecta a la inclusión ni al posicionamiento en Google Search.

¿Puedo verificar que una petición es realmente de GPTBot?

OpenAI publica los rangos de IP de sus rastreadores; compruébalos en los registros de tu servidor o CDN.

Pega la dirección de tu sitio web. Starter $39/mes · Pro $129/mes. Reembolso en un plazo de 14 días si no cumple.

Auditar mi sitio

Más sobre AI Search Audit

Iniciar un trabajo Precios Cómo funciona Qué es GEO AEO vs SEO Alternativas FAQ llms.txt

Fuentes (consultadas el 2026-11-09): developers.openai.com/api/docs/bots · docs.perplexity.ai/guides/bots · developers.google.com/crawling/docs/crawlers-fetchers/google-common-cr