Los clientes nos hacen dos preguntas opuestas. Uno dice «que no usen mi contenido para entrenar IA, bloqueemos todo»; otro pregunta «¿por qué no aparecemos en ChatGPT?». Muchas veces ambas tienen el mismo origen: el robots.txt en la raíz del sitio. En este artículo explicamos qué hace cada bot, basándonos en la documentación de los proveedores y sin inventar cifras.
Respuesta corta
Se pueden bloquear los bots de entrenamiento (GPTBot, ClaudeBot, Google-Extended) y eso, por sí solo, no reduce su visibilidad en las búsquedas. Si bloquea los bots de búsqueda y respuesta (OAI-SearchBot, Claude-SearchBot, PerplexityBot), le costará más aparecer en las búsquedas con IA correspondientes. Como cada bot tiene un propósito distinto, una sola línea de «bloquear todo» puede estropear dos cosas a la vez.
Hay tres tipos de bots
Los rastreadores de las empresas de IA no hacen todos lo mismo. La distinción que se desprende de la documentación es esta:
- Bots de entrenamiento: pueden recopilar contenido para entrenar modelos de IA generativa.
- Bots de búsqueda: indexan páginas para poder mostrar su sitio en la función de búsqueda de esa empresa.
- Bots de usuario: cuando alguien hace una pregunta a una IA, abren y leen la página en ese momento.
OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User
Según la página de bots de OpenAI, GPTBot rastrea contenido que puede usarse para entrenar modelos fundacionales de IA generativa. No permitir GPTBot indica que su contenido no debe usarse para el entrenamiento. OAI-SearchBot trabaja para mostrar sitios en las funciones de búsqueda de ChatGPT, y OpenAI recomienda permitirlo en el robots.txt. Los sitios que bloquean este bot quedan fuera de las respuestas de búsqueda de ChatGPT y, como mucho, pueden aparecer como enlace de navegación.
El tercer bot es ChatGPT-User. Puede visitar una página cuando un usuario le hace una pregunta a ChatGPT. OpenAI escribe que, como esas visitas las inicia el usuario, es posible que las reglas del robots.txt no se apliquen. Es decir, para este bot el robots.txt por sí solo no es un freno fiable.
Una nota sobre los tiempos: OpenAI dice que sus sistemas pueden tardar unas 24 horas en adaptarse tras una actualización del robots.txt. No cambie el archivo y espere resultados el mismo día.
Anthropic: ClaudeBot, Claude-SearchBot, Claude-User
La página de soporte de Anthropic usa la misma estructura de tres partes. ClaudeBot recopila contenido web que puede usarse para el entrenamiento. Claude-SearchBot analiza contenido para mejorar la calidad de los resultados de búsqueda; si se bloquea, no se le indexa para la búsqueda y su visibilidad puede caer. Claude-User visita un sitio cuando alguien le hace una pregunta a Claude; si se bloquea, su contenido no puede recuperarse para las preguntas de los usuarios.
Anthropic tampoco recomienda bloquear por dirección IP. El motivo: un bloqueo de IP también impide que el bot lea su robots.txt, de modo que su preferencia puede no verse correctamente.
Perplexity y Google-Extended
En la documentación de Perplexity, PerplexityBot se define como el bot que muestra sitios en los resultados de búsqueda de Perplexity, y se indica que no rastrea contenido para entrenar modelos fundacionales de IA. Perplexity recomienda permitir este bot. Perplexity-User visita una página cuando un usuario hace una pregunta y, como actúa a petición del usuario, por lo general no respeta las reglas del robots.txt.
Por el lado de Google, el nombre que confunde es Google-Extended. Según la documentación de Google, no es un user agent aparte, sino solo un token de producto que se usa en el robots.txt. Gestiona si su contenido puede utilizarse para entrenar futuros modelos Gemini y para grounding. En la misma página se indica claramente que Google-Extended no afecta a la inclusión en la Búsqueda de Google y no es una señal de posicionamiento. Es decir, bloquearlo no perjudica su posicionamiento clásico en Google. No encontré en la documentación correspondiente cómo se relacionan los AI Overviews con este token, así que no afirmo nada concluyente al respecto.
Un ejemplo práctico de robots.txt
Si el objetivo es «que no me usen para entrenar, pero que aparezca en las búsquedas con IA», el archivo se parece a esto:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://alanadiniz.com/sitemap.xmlEs una plantilla; antes de copiarla tal cual, mire su propia situación. Un sitio que publica noticias o investigación original puede querer cerrar el entrenamiento. Un negocio que vende servicios suele querer que su nombre aparezca en las respuestas de IA, y el uso para entrenamiento le queda en segundo plano. Esto no es asesoramiento legal ni comercial, es una elección, y ambas opciones son legítimas.
El límite del robots.txt
El robots.txt no es un cortafuegos, es una nota para los bots que la respetan. Las grandes empresas dicen que sus bots la cumplen, pero hay rastreadores de terceros que ignoran la regla. En los bots que actúan a petición del usuario, la regla también puede no aplicarse. Escribir algo en el archivo no garantiza que su contenido no pueda usarse por otras vías. El contenido que ya entró en los datos de entrenamiento no se retira.
Un añadido sobre la infraestructura: en julio de 2025 Cloudflare anunció que empezaba a bloquear por defecto los bots de IA en los sitios que aloja y que planeaba preguntar a los nuevos propietarios de dominios si permitían los rastreadores de IA (según MIT Technology Review). Si su sitio está detrás de Cloudflare, puede que los bots ni siquiera lleguen a su web, sea cual sea el contenido del robots.txt. Si quiere aparecer en la IA, revise este ajuste en el panel.
Lista de comprobación
- Abra el /robots.txt de su dominio y compruebe si queda alguna línea «Disallow: /». Es habitual que la deje un plugin o un entorno de pruebas.
- Compruebe si el bloqueo de bots de IA está activado en su CDN o capa de seguridad (como Cloudflare).
- Decida: ¿entrenamiento cerrado y búsqueda abierta, o todo abierto?
- Actualice el archivo, espere un día y vigile las peticiones de bots en los registros del servidor.
- Compruebe si su marca aparece en las respuestas con una medición de visibilidad en IA.
Una vez que los bots pueden leer su sitio, toca que lo que leen esté bien ordenado. llms.txt es un buen segundo paso para eso.
Preguntas frecuentes
Si bloqueo GPTBot, ¿desaparezco de la búsqueda de ChatGPT?
No. OpenAI usa GPTBot para el entrenamiento y OAI-SearchBot para las funciones de búsqueda de ChatGPT, y ambos se gestionan por separado en el robots.txt. Puede bloquear GPTBot y permitir OAI-SearchBot.
Si bloqueo Google-Extended, ¿bajará mi posicionamiento en Google?
Según la documentación de Google, no. Google-Extended no afecta a la inclusión en la Búsqueda y no es una señal de posicionamiento. Solo gestiona si su contenido se usa para entrenar modelos Gemini y para grounding.
¿El robots.txt detiene con seguridad a los bots de IA?
No. Da instrucciones a los bots que las respetan. OpenAI, Anthropic y Perplexity dicen que sus bots las cumplen, pero hay rastreadores que ignoran la regla y, en los bots que actúan a petición del usuario, puede que no se aplique.
Si no está seguro de que su sitio esté abierto a los bots de IA
Revisemos juntos el robots.txt, los ajustes del CDN y la estructura de su contenido, y aclaremos qué bots pueden verle.