Cómo bloquear rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot y más): rangos de IP y robots.txt
Los registros de tu servidor se llenan de GPTBot, ClaudeBot y meta-externalagent, y quieres decidir qué pasa con tu contenido. Esta página cubre los principales rastreadores de IA, los de nuestro registro de bots, tal como los documenta cada operador, con reglas listas para copiar en robots.txt, nginx, Apache y Cloudflare. Aparecen bots nuevos constantemente, así que ninguna lista está completa: las tablas crecen con el registro, los mismos datos de Verificar un bot y del generador de robots.txt.
Dos fechas en esta página: «Última actualización», arriba, indica cuándo revisamos este artículo por última vez. «Registro revisado», debajo de cada tabla, indica cuándo comprobamos por última vez cada bot del registro con la documentación de su operador. Las listas oficiales de IP de las tablas se vuelven a descargar cada 6 horas.
Tres tipos de bots de IA, tres decisiones distintas
«Bloquear la IA» puede significar tres cosas, y cada una es un bot distinto con su propio token en robots.txt:
- Rastreadores de entrenamiento: recogen páginas que pueden usarse para entrenar modelos de IA, como GPTBot, ClaudeBot y CCBot. Google y Apple usan sus rastreadores de búsqueda habituales y te dan un token aparte,
Google-ExtendedyApplebot-Extended, que controla solo el uso para IA de lo que recogen. - Rastreadores de búsqueda con IA: indexan páginas para que un motor de respuestas pueda citarlas y enlazarlas, como OAI-SearchBot para la búsqueda de ChatGPT, PerplexityBot y Claude-SearchBot. Bloquearlos te deja fuera del entrenamiento y también de sus respuestas, enlaces incluidos.
- Fetchers activados por el usuario: cargan una página porque una persona pidió a un asistente que la leyera, por ejemplo ChatGPT-User o Perplexity-User. Varios operadores dicen que robots.txt puede no aplicarse a estos.
Primero decide qué quieres
| Si quieres… | Bloquea | Deja pasar |
|---|---|---|
| Mantener tu contenido fuera del entrenamiento de IA, pero seguir en las respuestas de la búsqueda con IA | El grupo de entrenamiento | Los rastreadores de búsqueda con IA, Googlebot, Applebot |
| Salir también de las respuestas y citas de la IA | Los grupos de entrenamiento y de búsqueda con IA | Googlebot, Bingbot, Applebot |
| Impedir que los asistentes lean una página cuando un usuario lo pide | El grupo de fetchers activados por el usuario, en el servidor o el firewall | Todo lo demás |
| Mantener tu posicionamiento en la búsqueda de Google y Apple | Nunca Googlebot ni Applebot: usa en su lugar Google-Extended y Applebot-Extended | Googlebot, Applebot |
Los rastreadores de IA, bot por bot
Para cada bot: el operador, el token que debes usar en robots.txt, si el operador dice que respeta robots.txt, si se puede demostrar que una petición viene de él y las fuentes oficiales, es decir, la lista de IP cuando existe y la documentación del operador. Cada nombre enlaza a la página del bot en nuestro directorio, con sus cadenas de user agent completas y los detalles de verificación.
Rastreadores de entrenamiento
| Bot | Operador | Nombre en robots.txt | Respeta robots.txt | ¿Se puede verificar? | Fuentes |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Un control de robots.txt | No es un rastreador | Documentación del operador: developers.google.com |
|
| Applebot-Extended | Apple | Applebot-Extended |
Un control de robots.txt | No es un rastreador | Documentación del operador: support.apple.com |
| GPTBot | OpenAI | GPTBot |
Sí | Sí, por rangos IP | Lista oficial de IP: openai.com/gptbot.jsonDocumentación del operador: developers.openai.com |
| ClaudeBot | Anthropic | ClaudeBot |
Sí | Sí, por rangos IP | Lista oficial de IP: claude.com/crawling/bots.jsonDocumentación del operador: support.claude.com |
| CCBot | Common Crawl | CCBot |
Sí | Sí, por rangos IP y DNS inverso | Lista oficial de IP: index.commoncrawl.org/ccbot.jsonDocumentación del operador: commoncrawl.org |
| meta-externalagent | Meta | meta-externalagent |
Sí | No, solo por el user agent | Documentación del operador: developers.facebook.com |
| Amazonbot | Amazon | Amazonbot |
Sí | Sí, por rangos IP | Lista oficial de IP: developer.amazon.com/amazonbot/ip-addresses/Documentación del operador: developer.amazon.com |
| Bytespider | ByteDance | Bytespider |
Sin documentar | No, solo por el user agent | – |
| Timpibot | Timpi | Timpibot |
Sin documentar | No, solo por el user agent | – |
| FacebookBot | Meta | FacebookBot |
Sin documentar | No, solo por el user agent | – |
Dos filas son tokens, no rastreadores. Google dice Google-Extended doesn't have a separate HTTP request user agent string.
(fuente), y Apple Applebot-Extended does not crawl webpages.
(fuente) Son Googlebot y Applebot los que descargan las páginas; el token solo decide si el resultado puede usarse para IA. Apple añade Webpages that disallow Applebot-Extended can still be included in search results.
(fuente)
Bytespider, Timpibot y FacebookBot no tienen documentación pública que hayamos podido leer: no hay una promesa sobre robots.txt en la que confiar ni una lista de IP con la que comprobarlos. Si te importan, bloquéalos en el servidor.
Rastreadores de búsqueda con IA
| Bot | Operador | Nombre en robots.txt | Respeta robots.txt | ¿Se puede verificar? | Fuentes |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Sí | Sí, por rangos IP | Lista oficial de IP: openai.com/searchbot.jsonDocumentación del operador: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Sí | Sí, por rangos IP | Lista oficial de IP: perplexity.ai/perplexitybot.jsonDocumentación del operador: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Sí | Sí, por rangos IP | Lista oficial de IP: claude.com/crawling/bots.jsonDocumentación del operador: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Sí | Sí, por rangos IP | Lista oficial de IP: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentación del operador: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
Sí | No, solo por el user agent | Documentación del operador: developers.facebook.com |
OpenAI deja claro que las dos exclusiones son independientes: a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot
(fuente). También indica que, si permites ambos, we may use the results from just one crawl for both use cases
(fuente).
Fetchers activados por el usuario
| Bot | Operador | Nombre en robots.txt | Respeta robots.txt | ¿Se puede verificar? | Fuentes |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
En parte | Sí, por rangos IP | Lista oficial de IP: openai.com/chatgpt-user.jsonDocumentación del operador: developers.openai.com |
| Perplexity-User | Perplexity | Perplexity-User |
Por lo general, no | Sí, por rangos IP | Lista oficial de IP: perplexity.ai/perplexity-user.jsonDocumentación del operador: docs.perplexity.ai |
| Claude-User | Anthropic | Claude-User |
Sí | Sí, por rangos IP | Lista oficial de IP: claude.com/crawling/bots.jsonDocumentación del operador: support.claude.com |
| meta-externalfetcher | Meta | meta-externalfetcher |
En parte | No, solo por el user agent | Documentación del operador: developers.facebook.com |
| Amzn-User | Amazon | Amzn-User |
En parte | Sí, por rangos IP | Lista oficial de IP: developer.amazon.com/amazonbot/live-ip-addresses/Documentación del operador: developer.amazon.com |
| cohere-ai | Cohere | cohere-ai |
Sin documentar | No, solo por el user agent | – |
Aquí lee con atención la columna de robots.txt. Para ChatGPT-User, OpenAI escribe Because these actions are initiated by a user, robots.txt rules may not apply.
(fuente) Perplexity dice que su fetcher generally ignores robots.txt rules
(fuente), y Meta que el suyo may bypass robots.txt rules
(fuente). Si quieres dejarlos fuera, robots.txt por sí solo no basta.
robots.txt listo para copiar
robots.txt está en la raíz de cada host: https://example.com/robots.txt solo vale para example.com, así que www, shop y cualquier otro subdominio necesitan su propia copia. Varias líneas User-agent pueden compartir una regla, como permite la RFC 9309. Copia los grupos que correspondan a tu decisión.
Rastreadores de entrenamiento y controles de entrenamiento de IA:
# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /
Rastreadores de búsqueda con IA (solo si también quieres salir de las respuestas de la IA):
# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /
Fetchers activados por el usuario (una petición amable; arriba se explica por qué puede ignorarse):
# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /
Cada bloque excluye todo el sitio. Para dejar abierta una sección, añade en el mismo grupo una línea Allow: con su ruta. Según la RFC 9309 gana la regla más específica (la más larga), así que Allow: /blog/ se impone a Disallow: / para las páginas bajo /blog/.
robots.txt es una petición, no un candado
robots.txt funciona porque los rastreadores bien hechos deciden leerlo y respetarlo. No detiene a un scraper que lo ignora, y un scraper que se presenta con el user agent de un navegador nunca coincide con tus líneas User-agent. Trata robots.txt como la declaración de tu voluntad, que los rastreadores documentados respetan, y hazla cumplir donde importa.
Hazlo cumplir en el servidor o en el firewall
Una regla por user agent rechaza cualquier petición cuyo user agent contenga uno de los tokens. Detiene a los bots honestos desde su siguiente petición, y también a las falsificaciones poco cuidadas. Las reglas de abajo usan los mismos tres grupos que los bloques de robots.txt, así que aplican la misma decisión:
- Los rastreadores de entrenamiento quedan bloqueados tal como están escritas. Google-Extended y Applebot-Extended no aparecen: nunca llegan en una petición, y el bloque de robots.txt ya los cubre.
- Los fetchers activados por el usuario y los rastreadores de búsqueda con IA están preparados pero desactivados. Activa un grupo solo si también lo bloqueaste en robots.txt, o pensabas hacerlo: bloquear los rastreadores de búsqueda con IA te saca de las respuestas de la IA.
Todas las reglas dejan legible /robots.txt, para que los rastreadores sigan viendo tu exclusión.
nginx
El primer map pone $ai_bot a 1 cuando el user agent contiene un token de un grupo activo (~* significa una comparación sin distinguir mayúsculas). El segundo map transmite ese valor para todas las rutas salvo /robots.txt. Después, el if responde 403 a esas peticiones. Para activar otro grupo, quita el # delante de su línea.
# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
default 0;
# Training crawlers (the first robots.txt block)
"~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
# User-triggered fetchers: uncomment to refuse them too
# "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
# AI search crawlers: uncomment only if you also leave AI answers
# "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
default $ai_bot;
/robots.txt 0;
}
# In each server { } block that should refuse them:
if ($block_ai) { return 403; }
Apache
Cada línea SetEnvIfNoCase marca las peticiones de un grupo; descomenta una línea para añadir su grupo. La línea SetEnvIf quita la marca para /robots.txt, y Require not env rechaza las peticiones marcadas con un 403. En .htaccess hace falta AllowOverride FileInfo AuthConfig (o All).
# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
Require all granted
Require not env block_ai
</RequireAll>
Cloudflare
Crea una regla personalizada del WAF por cada grupo que hayas bloqueado en robots.txt, con la acción Block. Cada expresión coincide con los tokens de ese grupo, más los bots que Cloudflare ha verificado por su cuenta en la categoría de bots verificados correspondiente, y deja en paz /robots.txt.
Regla 1, rastreadores de entrenamiento (el primer bloque de robots.txt). Categoría de Cloudflare: AI Crawler.
(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"
Regla 2, opcional, fetchers activados por el usuario. Categoría de Cloudflare: AI Assistant.
(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"
Regla 3, opcional, rastreadores de búsqueda con IA: solo si también quieres salir de las respuestas de la IA. Categoría de Cloudflare: AI Search, que Cloudflare mantiene para las reglas existentes pero que en su clasificación más reciente ya no separa de la búsqueda normal, así que aquí casi todo el trabajo lo hacen los tokens.
(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"
Cloudflare decide qué bots verificados entran en cada categoría, y una categoría puede incluir bots que no están en nuestras tablas. Si quieres que una regla coincida solo con los tokens listados, borra su línea cf.verified_bot_category.
Cloudflare también tiene un ajuste en el panel, ahora llamado AI Crawler and Agent access policies
(fuente), en Security, Settings. Clasifica los bots por comportamiento, y sus tres comportamientos coinciden con los grupos de esta página: Training con los rastreadores de entrenamiento, Search con los rastreadores de búsqueda con IA y Agent con los fetchers activados por el usuario. Se aplica a los bots verificados y a los no verificados que coinciden con ellos.
Bloquear o permitir por rango de IP
Los user agents se pueden falsificar; la dirección de una petición completada, no. Cuando un operador publica las direcciones de sus rastreadores, las tablas enlazan la lista oficial. Puedes usarlas de dos formas: permitir un rastreador solo desde sus propios rangos, para que un GPTBot falso desde otro sitio no obtenga nada, o bloquear esos rangos por completo.
No pegues los rangos en tu configuración una vez y te olvides: los operadores los cambian. Descarga las listas de forma periódica, como hacemos nosotros: nuestras copias se renuevan cada 6 horas, y la página de fuentes de datos muestra cuándo se actualizó cada una. Para automatizarlo, nuestra API responde a la misma pregunta dirección por dirección.
Comprueba si un bot es real
Pega una dirección de tus registros, y el user agent si lo tienes, en Verificar un bot. Compara la dirección con las listas oficiales y, para los operadores que lo admiten, con el DNS inverso confirmado, y te dice si la petición viene de verdad del bot que dice ser. El mismo método a mano, para Google, está en nuestra guía sobre cómo verificar una IP de Googlebot.
¿Buscas un rastreador concreto? El directorio de bots e IA recoge de cada uno su user agent, sus rangos IP y su nombre en robots.txt. Para bloquear varios bots de IA a la vez, usa el generador de robots.txt.
Preguntas y respuestas
¿Bloquear GPTBot saca mi sitio de la búsqueda de ChatGPT?
No. OpenAI usa OAI-SearchBot para la búsqueda y GPTBot para el entrenamiento, y dice Each setting is independent of the others.
(fuente) Para salir de las respuestas de la búsqueda de ChatGPT también tienes que excluir a OAI-SearchBot.
¿Bloquear Google-Extended perjudica mi posicionamiento en Google?
Google dice Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.
(fuente) Apple dice lo mismo de su token: Site rules for Applebot-Extended are not considered in ranking for Search.
(fuente)
¿Los rastreadores de IA respetan robots.txt?
Los rastreadores documentados de las tablas dicen que sí. Los fetchers que actúan en nombre de un usuario son otra cosa: para ChatGPT-User, OpenAI escribe que robots.txt rules may not apply
(fuente), y Perplexity que su fetcher generally ignores robots.txt rules
(fuente). Los bots sin documentación pública, como Bytespider, no han prometido nada.
¿Cuánto tarda en aplicarse un cambio en robots.txt?
OpenAI dice it can take ~24 hours from a site's robots.txt update for our systems to adjust.
(fuente) Los demás operadores de las tablas no publican un plazo. Una regla en el servidor o en el firewall se aplica desde la siguiente petición.
Fuentes
Documentos oficiales que usamos para comprobar los datos de esta guía.
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google Search Central: Google's common crawlers (Google-Extended)
- Apple: About Applebot (Applebot-Extended)
- Meta: Meta web crawlers
- Amazon: Amazonbot
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_rewrite
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Verified bots and their categories
- Cloudflare: cf.verified_bot_category