Comprobar mi conexión

Guías · Investigar una IP

Cómo verificar si un rastreador web es real: Googlebot, Bingbot y cómo detectar bots falsos

Una petición en tus registros dice Googlebot. Quizá sea Google; quizá sea un scraper que copió el nombre de Google porque pocos se atreven a bloquearlo. Esta guía muestra las dos comprobaciones que prueban de verdad quién envió una petición, para los principales rastreadores de buscadores y los rastreadores de búsqueda con IA, con la lista oficial de IP de cada operador, sus nombres de DNS inverso y reglas para rechazar a los falsos.

«Última actualización», arriba, indica cuándo revisamos este artículo por última vez. «Registro revisado», debajo de cada tabla, indica cuándo comprobamos por última vez cada rastreador del registro con la documentación de su operador; las listas oficiales de IP se vuelven a descargar cada 6 horas.

Por qué el user agent no prueba nada

Piensa en el user agent como una etiqueta con el nombre que el visitante escribe él mismo. Los rastreadores reales escriben una honesta, pero nada impide a cualquier otro escribir Googlebot en la suya, y copiar la cadena exacta de Googlebot cuesta una línea de código. Los scrapers y las herramientas de ataque lo hacen a propósito: algunos firewalls y límites de frecuencia dejan pasar a los rastreadores conocidos.

Con la dirección es distinto. Es de donde vino de verdad la conexión, y solo el operador controla las direcciones que publica y los nombres DNS bajo su propio dominio. Las dos comprobaciones de abajo usan la dirección, nunca la etiqueta.

Las dos comprobaciones que funcionan

Basta con que pase una, la que admita el operador. Algunos operadores admiten las dos.

1. La lista de IP que publica el operador

Muchos operadores publican los rangos de direcciones de su rastreador, normalmente como un archivo JSON de prefijos IPv4 e IPv6. Si la dirección cae dentro de uno, la petición vino de la red de ese operador. Es la comprobación más rápida, y la que conviene usar en un firewall, porque no necesita consultas por petición. Las listas cambian, así que vuelve a descargarlas con regularidad en vez de copiarlas una vez.

2. DNS inverso confirmado (FCrDNS)

Es el método que Google documenta para sus propios rastreadores. Requiere dos consultas DNS:

  1. Consulta inversa: pide al DNS el nombre de la dirección (su registro PTR).
  2. Comprueba que el nombre termina en el dominio del operador. Para Google: Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com. (fuente)
  3. Consulta directa: pide al DNS la dirección de ese nombre.
  4. Confirma que coincide. Google: Verify that it's the same as the original accessing IP address from your logs. (fuente)

El paso 3 es el que lo convierte en una prueba. Quien controla una dirección puede ponerle el nombre inverso que quiera, incluso crawl-1-2-3-4.googlebot.com. Solo Google puede hacer que un nombre bajo googlebot.com apunte a una dirección. Con dig en Linux o macOS, el ejemplo de Google queda así:

$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1

En Windows, nslookup hace las mismas dos consultas:

> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com

Las direcciones de Bingbot tienen nombres inversos bajo search.msn.com que vuelven a la misma dirección; esta es una consulta real a una dirección de Bingbot. Nosotros verificamos Bingbot con la lista que publica Bing, enlazada en la tabla de abajo.

$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10

Una herramienta que solo muestra el nombre inverso (el registro PTR) muestra el paso 1, que cualquiera puede falsificar. Nuestra herramienta Verificar un bot hace las dos consultas y comprueba las listas oficiales; nuestra guía sobre el DNS inverso explica los registros PTR en general.

¿Es real este rastreador? Una comprobación rápida

Señales de un rastreador real y de uno falso
ComprobaciónRastreador realFalso
El user agent nombra un rastreador conocidoSíNormalmente también: no prueba nada
La dirección está en la lista que publica el operadorSíNo
El nombre de DNS inverso está bajo el dominio del operadorSí, en los operadores que lo usanFalta, es genérico o es de otro dominio
Ese nombre vuelve a la misma direcciónSíNo, o no resuelve
Qué pidePáginas y robots.txt, a ritmo constanteA menudo páginas de acceso, rutas de administración o formularios de búsqueda: una pista, no una prueba

Los principales rastreadores y cómo verificar cada uno

Para cada rastreador: el token del user agent, cómo demostrar que una petición viene de él, los nombres de DNS inverso cuando el operador los usa y las fuentes oficiales. Cada nombre enlaza a la página del rastreador en nuestro directorio de IA y bots. Las tablas cubren los rastreadores de nuestro registro, no todos los bots de la web.

Rastreadores de buscadores

Rastreadores de buscadores. Registro revisado el 11 de noviembre de 2026. Las listas de direcciones se descargan cada 6 horas.
BotOperadorNombre en robots.txt¿Se puede verificar?El nombre de DNS inverso termina enFuentes
Googlebot Google
Googlebot
Sí, por rangos IP y DNS inverso
.googlebot.com .geo.googlebot.com
Bingbot Microsoft
bingbot
Sí, por rangos IP
–
Lista oficial de IP: bing.com/toolbox/bingbot.jsonDocumentación del operador: bing.com
Applebot Apple
Applebot
Sí, por rangos IP y DNS inverso
.applebot.apple.com
Lista oficial de IP: search.developer.apple.com/applebot.jsonDocumentación del operador: support.apple.com
DuckDuckBot DuckDuckGo
DuckDuckBot
Sí, por rangos IP
–
Lista oficial de IP: duckduckgo.com/duckduckbot.jsonDocumentación del operador: duckduckgo.com

Google tiene más que Googlebot: los rastreadores para casos especiales y los fetchers activados por el usuario salen de listas publicadas aparte y tienen nombres inversos bajo google.com o gae.googleusercontent.com en lugar de googlebot.com. Comprueba una dirección con la lista del tipo de rastreador que dice ser.

Rastreadores de búsqueda con IA

Rastreadores de búsqueda con IA. Registro revisado el 11 de noviembre de 2026. Las listas de direcciones se descargan cada 6 horas.
BotOperadorNombre en robots.txt¿Se puede verificar?El nombre de DNS inverso termina enFuentes
OAI-SearchBot OpenAI
OAI-SearchBot
Sí, por rangos IP
–
Lista oficial de IP: openai.com/searchbot.jsonDocumentación del operador: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Sí, por rangos IP
–
Lista oficial de IP: perplexity.ai/perplexitybot.jsonDocumentación del operador: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Sí, por rangos IP
–
Lista oficial de IP: claude.com/crawling/bots.jsonDocumentación del operador: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Sí, por rangos IP
–
Lista oficial de IP: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentación del operador: developer.amazon.com
meta-webindexer Meta
meta-webindexer
No, solo por el user agent
–
Documentación del operador: developers.facebook.com

Indexan páginas para los motores de respuestas con IA. Para decidir qué bots de IA dejar entrar, consulta nuestra guía sobre cómo bloquear rastreadores de IA. Un rastreador marcado como «solo user agent» no publica nada con lo que comprobarlo, así que una petición que lo nombra no se puede probar en ningún sentido.

Cómo detectar un rastreador falso en tus registros

Parte de las peticiones que nombran un rastreador y luego comprueba sus direcciones. Un falso suele delatarse de una de estas formas:

Antes, una trampa: detrás de una CDN o un proxy inverso, tu servidor puede registrar la dirección del proxy en lugar de la del visitante. Asegúrate de comprobar la dirección real del cliente (por ejemplo CF-Connecting-IP detrás de Cloudflare, o la dirección que transmite tu proxy), o todos los rastreadores parecerán falsos.

Nuestro comprobador de registros lo hace con un registro entero en tu navegador: lista cada dirección, lo que dice su user agent y si se puede confirmar que es el rastreador que dice ser.

Qué hacer con los rastreadores falsos

Rechaza las peticiones que nombran un rastreador pero no vienen de sus direcciones. Las reglas de abajo lo hacen para Googlebot con la lista que publica Google; el mismo patrón sirve para cualquier rastreador que publique una, como Bingbot con la lista de Bing. El Googlebot real y los visitantes normales no se ven afectados.

nginx

El bloque geo marca las direcciones de la lista de Google, el primer map marca los user agents que dicen Googlebot y el segundo map los combina: una petición que dice ser Googlebot desde fuera de la lista recibe un 403.

# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
    default 0;
    include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
    default 0;
    "~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
    default 0;
    "1:0" 1;
}

# In each server { } block:
if ($fake_googlebot) { return 403; }

El archivo de la lista lo crea, y lo mantiene al día, un pequeño script. Ejecútalo a diario: se niega a instalar una lista vacía, que rechazaría a todos los Googlebot reales, y solo recarga nginx si la configuración pasa la prueba (nginx -t).

#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
  | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload

Apache

En Apache, un bloque se aplica solo a las peticiones cuyo user agent dice Googlebot, y su línea Require ip solo admite los rangos de Google. El script de abajo escribe ese bloque a partir de la lista de Google.

# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
  echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
  curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
    | jq -r '"    Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
  echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new"   # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful

Cloudflare

En Cloudflare, una regla personalizada del WAF con la acción Block puede usar la lista de bots buenos de Cloudflare: el campo cf.client.bot es verdadero para peticiones de bots y rastreadores buenos conocidos, así que se rechaza una petición que nombra un rastreador de buscador sin serlo.

(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot

Bloquear a los falsos no detiene a los rastreadores reales, y no debe hacerlo: rechazar al Googlebot real saca tus páginas de la Búsqueda de Google. Si además quieres dejar fuera a los rastreadores de IA, es una decisión aparte, explicada en cómo bloquear rastreadores de IA.

Automatiza la comprobación

Para grandes volúmenes, Google recomienda automatizar: For large scale lookups, use an automatic solution (fuente) con las listas publicadas. Nuestra API responde a la misma pregunta que Verificar un bot, para una dirección y un user agent cada vez, y la página de fuentes de datos muestra cuándo se descargó por última vez cada lista oficial.

Preguntas y respuestas

¿Basta con un registro de DNS inverso (PTR)?

No. Quien controla un bloque de direcciones fija sus nombres de DNS inverso, así que un registro PTR puede indicar cualquier nombre. Solo la consulta directa, hecha en el dominio del operador, une el nombre a la dirección.

¿Puede un rastreador real no superar la comprobación?

Sí, por motivos inocentes: el operador añadió direcciones después de que descargaras tu copia de la lista, tu servidor registra la dirección de un proxy o una CDN en lugar de la del visitante, o una consulta DNS caducó. Actualiza las listas con regularidad, registra la dirección real del cliente y trata un fallo DNS aislado como desconocido, no como falso.

¿Debo hacer consultas DNS en cada petición?

No. Las consultas añaden retraso y pueden fallar con carga. Compara las direcciones con las listas publicadas en el servidor o el firewall, y deja el DNS inverso para comprobaciones puntuales y para rastreadores sin lista, guardando cada respuesta en caché.

¿Se puede verificar cualquier rastreador?

No. Algunos operadores publican direcciones, otros solo nombres de DNS inverso, otros ambas cosas y unos pocos ninguna. Las tablas de arriba dicen cuál es cuál; un rastreador que no puedes verificar solo se juzga por lo que hace.

Fuentes

Documentos oficiales que usamos para comprobar los datos de esta guía.