Comprobar mi conexión

Guías · Investigar una IP

Cómo bloquear rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot y más): rangos de IP y robots.txt

Los registros de tu servidor se llenan de GPTBot, ClaudeBot y meta-externalagent, y quieres decidir qué pasa con tu contenido. Esta página cubre los principales rastreadores de IA, los de nuestro registro de bots, tal como los documenta cada operador, con reglas listas para copiar en robots.txt, nginx, Apache y Cloudflare. Aparecen bots nuevos constantemente, así que ninguna lista está completa: las tablas crecen con el registro, los mismos datos de Verificar un bot y del generador de robots.txt.

Dos fechas en esta página: «Última actualización», arriba, indica cuándo revisamos este artículo por última vez. «Registro revisado», debajo de cada tabla, indica cuándo comprobamos por última vez cada bot del registro con la documentación de su operador. Las listas oficiales de IP de las tablas se vuelven a descargar cada 6 horas.

Tres tipos de bots de IA, tres decisiones distintas

«Bloquear la IA» puede significar tres cosas, y cada una es un bot distinto con su propio token en robots.txt:

Primero decide qué quieres

Qué bloquear según el objetivo
Si quieres…BloqueaDeja pasar
Mantener tu contenido fuera del entrenamiento de IA, pero seguir en las respuestas de la búsqueda con IAEl grupo de entrenamientoLos rastreadores de búsqueda con IA, Googlebot, Applebot
Salir también de las respuestas y citas de la IALos grupos de entrenamiento y de búsqueda con IAGooglebot, Bingbot, Applebot
Impedir que los asistentes lean una página cuando un usuario lo pideEl grupo de fetchers activados por el usuario, en el servidor o el firewallTodo lo demás
Mantener tu posicionamiento en la búsqueda de Google y AppleNunca Googlebot ni Applebot: usa en su lugar Google-Extended y Applebot-ExtendedGooglebot, Applebot

Los rastreadores de IA, bot por bot

Para cada bot: el operador, el token que debes usar en robots.txt, si el operador dice que respeta robots.txt, si se puede demostrar que una petición viene de él y las fuentes oficiales, es decir, la lista de IP cuando existe y la documentación del operador. Cada nombre enlaza a la página del bot en nuestro directorio, con sus cadenas de user agent completas y los detalles de verificación.

Rastreadores de entrenamiento

Rastreadores de entrenamiento de IA y controles de entrenamiento. Registro revisado el 11 de noviembre de 2026. Las listas de direcciones se descargan cada 6 horas.
BotOperadorNombre en robots.txtRespeta robots.txt¿Se puede verificar?Fuentes
Google-Extended Google
Google-Extended
Un control de robots.txt No es un rastreador
Documentación del operador: developers.google.com
Applebot-Extended Apple
Applebot-Extended
Un control de robots.txt No es un rastreador
Documentación del operador: support.apple.com
GPTBot OpenAI
GPTBot
Sí Sí, por rangos IP
Lista oficial de IP: openai.com/gptbot.jsonDocumentación del operador: developers.openai.com
ClaudeBot Anthropic
ClaudeBot
Sí Sí, por rangos IP
Lista oficial de IP: claude.com/crawling/bots.jsonDocumentación del operador: support.claude.com
CCBot Common Crawl
CCBot
Sí Sí, por rangos IP y DNS inverso
Lista oficial de IP: index.commoncrawl.org/ccbot.jsonDocumentación del operador: commoncrawl.org
meta-externalagent Meta
meta-externalagent
Sí No, solo por el user agent
Documentación del operador: developers.facebook.com
Amazonbot Amazon
Amazonbot
Sí Sí, por rangos IP
Lista oficial de IP: developer.amazon.com/amazonbot/ip-addresses/Documentación del operador: developer.amazon.com
Bytespider ByteDance
Bytespider
Sin documentar No, solo por el user agent
–
Timpibot Timpi
Timpibot
Sin documentar No, solo por el user agent
–
FacebookBot Meta
FacebookBot
Sin documentar No, solo por el user agent
–

Dos filas son tokens, no rastreadores. Google dice Google-Extended doesn't have a separate HTTP request user agent string. (fuente), y Apple Applebot-Extended does not crawl webpages. (fuente) Son Googlebot y Applebot los que descargan las páginas; el token solo decide si el resultado puede usarse para IA. Apple añade Webpages that disallow Applebot-Extended can still be included in search results. (fuente)

Bytespider, Timpibot y FacebookBot no tienen documentación pública que hayamos podido leer: no hay una promesa sobre robots.txt en la que confiar ni una lista de IP con la que comprobarlos. Si te importan, bloquéalos en el servidor.

Rastreadores de búsqueda con IA

Rastreadores de búsqueda con IA. Registro revisado el 11 de noviembre de 2026. Las listas de direcciones se descargan cada 6 horas.
BotOperadorNombre en robots.txtRespeta robots.txt¿Se puede verificar?Fuentes
OAI-SearchBot OpenAI
OAI-SearchBot
Sí Sí, por rangos IP
Lista oficial de IP: openai.com/searchbot.jsonDocumentación del operador: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Sí Sí, por rangos IP
Lista oficial de IP: perplexity.ai/perplexitybot.jsonDocumentación del operador: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Sí Sí, por rangos IP
Lista oficial de IP: claude.com/crawling/bots.jsonDocumentación del operador: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Sí Sí, por rangos IP
Lista oficial de IP: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentación del operador: developer.amazon.com
meta-webindexer Meta
meta-webindexer
Sí No, solo por el user agent
Documentación del operador: developers.facebook.com

OpenAI deja claro que las dos exclusiones son independientes: a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot (fuente). También indica que, si permites ambos, we may use the results from just one crawl for both use cases (fuente).

Fetchers activados por el usuario

Fetchers que actúan a petición de un usuario. Registro revisado el 11 de noviembre de 2026. Las listas de direcciones se descargan cada 6 horas.
BotOperadorNombre en robots.txtRespeta robots.txt¿Se puede verificar?Fuentes
ChatGPT-User OpenAI
ChatGPT-User
En parte Sí, por rangos IP
Lista oficial de IP: openai.com/chatgpt-user.jsonDocumentación del operador: developers.openai.com
Perplexity-User Perplexity
Perplexity-User
Por lo general, no Sí, por rangos IP
Lista oficial de IP: perplexity.ai/perplexity-user.jsonDocumentación del operador: docs.perplexity.ai
Claude-User Anthropic
Claude-User
Sí Sí, por rangos IP
Lista oficial de IP: claude.com/crawling/bots.jsonDocumentación del operador: support.claude.com
meta-externalfetcher Meta
meta-externalfetcher
En parte No, solo por el user agent
Documentación del operador: developers.facebook.com
Amzn-User Amazon
Amzn-User
En parte Sí, por rangos IP
Lista oficial de IP: developer.amazon.com/amazonbot/live-ip-addresses/Documentación del operador: developer.amazon.com
cohere-ai Cohere
cohere-ai
Sin documentar No, solo por el user agent
–

Aquí lee con atención la columna de robots.txt. Para ChatGPT-User, OpenAI escribe Because these actions are initiated by a user, robots.txt rules may not apply. (fuente) Perplexity dice que su fetcher generally ignores robots.txt rules (fuente), y Meta que el suyo may bypass robots.txt rules (fuente). Si quieres dejarlos fuera, robots.txt por sí solo no basta.

robots.txt listo para copiar

robots.txt está en la raíz de cada host: https://example.com/robots.txt solo vale para example.com, así que www, shop y cualquier otro subdominio necesitan su propia copia. Varias líneas User-agent pueden compartir una regla, como permite la RFC 9309. Copia los grupos que correspondan a tu decisión.

Rastreadores de entrenamiento y controles de entrenamiento de IA:

# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /

Rastreadores de búsqueda con IA (solo si también quieres salir de las respuestas de la IA):

# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /

Fetchers activados por el usuario (una petición amable; arriba se explica por qué puede ignorarse):

# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /

Cada bloque excluye todo el sitio. Para dejar abierta una sección, añade en el mismo grupo una línea Allow: con su ruta. Según la RFC 9309 gana la regla más específica (la más larga), así que Allow: /blog/ se impone a Disallow: / para las páginas bajo /blog/.

robots.txt es una petición, no un candado

robots.txt funciona porque los rastreadores bien hechos deciden leerlo y respetarlo. No detiene a un scraper que lo ignora, y un scraper que se presenta con el user agent de un navegador nunca coincide con tus líneas User-agent. Trata robots.txt como la declaración de tu voluntad, que los rastreadores documentados respetan, y hazla cumplir donde importa.

Hazlo cumplir en el servidor o en el firewall

Una regla por user agent rechaza cualquier petición cuyo user agent contenga uno de los tokens. Detiene a los bots honestos desde su siguiente petición, y también a las falsificaciones poco cuidadas. Las reglas de abajo usan los mismos tres grupos que los bloques de robots.txt, así que aplican la misma decisión:

Todas las reglas dejan legible /robots.txt, para que los rastreadores sigan viendo tu exclusión.

nginx

El primer map pone $ai_bot a 1 cuando el user agent contiene un token de un grupo activo (~* significa una comparación sin distinguir mayúsculas). El segundo map transmite ese valor para todas las rutas salvo /robots.txt. Después, el if responde 403 a esas peticiones. Para activar otro grupo, quita el # delante de su línea.

# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
    default 0;
    # Training crawlers (the first robots.txt block)
    "~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
    # User-triggered fetchers: uncomment to refuse them too
    # "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
    # AI search crawlers: uncomment only if you also leave AI answers
    # "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
    default $ai_bot;
    /robots.txt 0;
}

# In each server { } block that should refuse them:
if ($block_ai) { return 403; }

Apache

Cada línea SetEnvIfNoCase marca las peticiones de un grupo; descomenta una línea para añadir su grupo. La línea SetEnvIf quita la marca para /robots.txt, y Require not env rechaza las peticiones marcadas con un 403. En .htaccess hace falta AllowOverride FileInfo AuthConfig (o All).

# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
    Require all granted
    Require not env block_ai
</RequireAll>

Cloudflare

Crea una regla personalizada del WAF por cada grupo que hayas bloqueado en robots.txt, con la acción Block. Cada expresión coincide con los tokens de ese grupo, más los bots que Cloudflare ha verificado por su cuenta en la categoría de bots verificados correspondiente, y deja en paz /robots.txt.

Regla 1, rastreadores de entrenamiento (el primer bloque de robots.txt). Categoría de Cloudflare: AI Crawler.

(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
 or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"

Regla 2, opcional, fetchers activados por el usuario. Categoría de Cloudflare: AI Assistant.

(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
 or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"

Regla 3, opcional, rastreadores de búsqueda con IA: solo si también quieres salir de las respuestas de la IA. Categoría de Cloudflare: AI Search, que Cloudflare mantiene para las reglas existentes pero que en su clasificación más reciente ya no separa de la búsqueda normal, así que aquí casi todo el trabajo lo hacen los tokens.

(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
 or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"

Cloudflare decide qué bots verificados entran en cada categoría, y una categoría puede incluir bots que no están en nuestras tablas. Si quieres que una regla coincida solo con los tokens listados, borra su línea cf.verified_bot_category.

Cloudflare también tiene un ajuste en el panel, ahora llamado AI Crawler and Agent access policies (fuente), en Security, Settings. Clasifica los bots por comportamiento, y sus tres comportamientos coinciden con los grupos de esta página: Training con los rastreadores de entrenamiento, Search con los rastreadores de búsqueda con IA y Agent con los fetchers activados por el usuario. Se aplica a los bots verificados y a los no verificados que coinciden con ellos.

Bloquear o permitir por rango de IP

Los user agents se pueden falsificar; la dirección de una petición completada, no. Cuando un operador publica las direcciones de sus rastreadores, las tablas enlazan la lista oficial. Puedes usarlas de dos formas: permitir un rastreador solo desde sus propios rangos, para que un GPTBot falso desde otro sitio no obtenga nada, o bloquear esos rangos por completo.

No pegues los rangos en tu configuración una vez y te olvides: los operadores los cambian. Descarga las listas de forma periódica, como hacemos nosotros: nuestras copias se renuevan cada 6 horas, y la página de fuentes de datos muestra cuándo se actualizó cada una. Para automatizarlo, nuestra API responde a la misma pregunta dirección por dirección.

Comprueba si un bot es real

Pega una dirección de tus registros, y el user agent si lo tienes, en Verificar un bot. Compara la dirección con las listas oficiales y, para los operadores que lo admiten, con el DNS inverso confirmado, y te dice si la petición viene de verdad del bot que dice ser. El mismo método a mano, para Google, está en nuestra guía sobre cómo verificar una IP de Googlebot.

Preguntas y respuestas

¿Bloquear GPTBot saca mi sitio de la búsqueda de ChatGPT?

No. OpenAI usa OAI-SearchBot para la búsqueda y GPTBot para el entrenamiento, y dice Each setting is independent of the others. (fuente) Para salir de las respuestas de la búsqueda de ChatGPT también tienes que excluir a OAI-SearchBot.

¿Bloquear Google-Extended perjudica mi posicionamiento en Google?

Google dice Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search. (fuente) Apple dice lo mismo de su token: Site rules for Applebot-Extended are not considered in ranking for Search. (fuente)

¿Los rastreadores de IA respetan robots.txt?

Los rastreadores documentados de las tablas dicen que sí. Los fetchers que actúan en nombre de un usuario son otra cosa: para ChatGPT-User, OpenAI escribe que robots.txt rules may not apply (fuente), y Perplexity que su fetcher generally ignores robots.txt rules (fuente). Los bots sin documentación pública, como Bytespider, no han prometido nada.

¿Cuánto tarda en aplicarse un cambio en robots.txt?

OpenAI dice it can take ~24 hours from a site's robots.txt update for our systems to adjust. (fuente) Los demás operadores de las tablas no publican un plazo. Una regla en el servidor o en el firewall se aplica desde la siguiente petición.

Fuentes

Documentos oficiales que usamos para comprobar los datos de esta guía.