Cómo verificar si un rastreador web es real: Googlebot, Bingbot y cómo detectar bots falsos
Una petición en tus registros dice Googlebot. Quizá sea Google; quizá sea un scraper que copió el nombre de Google porque pocos se atreven a bloquearlo. Esta guía muestra las dos comprobaciones que prueban de verdad quién envió una petición, para los principales rastreadores de buscadores y los rastreadores de búsqueda con IA, con la lista oficial de IP de cada operador, sus nombres de DNS inverso y reglas para rechazar a los falsos.
«Última actualización», arriba, indica cuándo revisamos este artículo por última vez. «Registro revisado», debajo de cada tabla, indica cuándo comprobamos por última vez cada rastreador del registro con la documentación de su operador; las listas oficiales de IP se vuelven a descargar cada 6 horas.
Por qué el user agent no prueba nada
Piensa en el user agent como una etiqueta con el nombre que el visitante escribe él mismo. Los rastreadores reales escriben una honesta, pero nada impide a cualquier otro escribir Googlebot en la suya, y copiar la cadena exacta de Googlebot cuesta una línea de código. Los scrapers y las herramientas de ataque lo hacen a propósito: algunos firewalls y límites de frecuencia dejan pasar a los rastreadores conocidos.
Con la dirección es distinto. Es de donde vino de verdad la conexión, y solo el operador controla las direcciones que publica y los nombres DNS bajo su propio dominio. Las dos comprobaciones de abajo usan la dirección, nunca la etiqueta.
Las dos comprobaciones que funcionan
Basta con que pase una, la que admita el operador. Algunos operadores admiten las dos.
1. La lista de IP que publica el operador
Muchos operadores publican los rangos de direcciones de su rastreador, normalmente como un archivo JSON de prefijos IPv4 e IPv6. Si la dirección cae dentro de uno, la petición vino de la red de ese operador. Es la comprobación más rápida, y la que conviene usar en un firewall, porque no necesita consultas por petición. Las listas cambian, así que vuelve a descargarlas con regularidad en vez de copiarlas una vez.
2. DNS inverso confirmado (FCrDNS)
Es el método que Google documenta para sus propios rastreadores. Requiere dos consultas DNS:
- Consulta inversa: pide al DNS el nombre de la dirección (su registro
PTR). - Comprueba que el nombre termina en el dominio del operador. Para Google:
Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.
(fuente) - Consulta directa: pide al DNS la dirección de ese nombre.
- Confirma que coincide. Google:
Verify that it's the same as the original accessing IP address from your logs.
(fuente)
El paso 3 es el que lo convierte en una prueba. Quien controla una dirección puede ponerle el nombre inverso que quiera, incluso crawl-1-2-3-4.googlebot.com. Solo Google puede hacer que un nombre bajo googlebot.com apunte a una dirección. Con dig en Linux o macOS, el ejemplo de Google queda así:
$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1
En Windows, nslookup hace las mismas dos consultas:
> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com
Las direcciones de Bingbot tienen nombres inversos bajo search.msn.com que vuelven a la misma dirección; esta es una consulta real a una dirección de Bingbot. Nosotros verificamos Bingbot con la lista que publica Bing, enlazada en la tabla de abajo.
$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10
Una herramienta que solo muestra el nombre inverso (el registro PTR) muestra el paso 1, que cualquiera puede falsificar. Nuestra herramienta Verificar un bot hace las dos consultas y comprueba las listas oficiales; nuestra guía sobre el DNS inverso explica los registros PTR en general.
¿Es real este rastreador? Una comprobación rápida
| Comprobación | Rastreador real | Falso |
|---|---|---|
| El user agent nombra un rastreador conocido | Sí | Normalmente también: no prueba nada |
| La dirección está en la lista que publica el operador | Sí | No |
| El nombre de DNS inverso está bajo el dominio del operador | Sí, en los operadores que lo usan | Falta, es genérico o es de otro dominio |
| Ese nombre vuelve a la misma dirección | Sí | No, o no resuelve |
| Qué pide | Páginas y robots.txt, a ritmo constante | A menudo páginas de acceso, rutas de administración o formularios de búsqueda: una pista, no una prueba |
Los principales rastreadores y cómo verificar cada uno
Para cada rastreador: el token del user agent, cómo demostrar que una petición viene de él, los nombres de DNS inverso cuando el operador los usa y las fuentes oficiales. Cada nombre enlaza a la página del rastreador en nuestro directorio de IA y bots. Las tablas cubren los rastreadores de nuestro registro, no todos los bots de la web.
Rastreadores de buscadores
| Bot | Operador | Nombre en robots.txt | ¿Se puede verificar? | El nombre de DNS inverso termina en | Fuentes |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Sí, por rangos IP y DNS inverso | .googlebot.com .geo.googlebot.com |
Lista oficial de IP: developers.google.com/static/crawling/ipranges/common-crawlers.jsonDocumentación del operador: developers.google.com |
|
| Bingbot | Microsoft | bingbot |
Sí, por rangos IP | – |
Lista oficial de IP: bing.com/toolbox/bingbot.jsonDocumentación del operador: bing.com |
| Applebot | Apple | Applebot |
Sí, por rangos IP y DNS inverso | .applebot.apple.com |
Lista oficial de IP: search.developer.apple.com/applebot.jsonDocumentación del operador: support.apple.com |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Sí, por rangos IP | – |
Lista oficial de IP: duckduckgo.com/duckduckbot.jsonDocumentación del operador: duckduckgo.com |
Google tiene más que Googlebot: los rastreadores para casos especiales y los fetchers activados por el usuario salen de listas publicadas aparte y tienen nombres inversos bajo google.com o gae.googleusercontent.com en lugar de googlebot.com. Comprueba una dirección con la lista del tipo de rastreador que dice ser.
Rastreadores de búsqueda con IA
| Bot | Operador | Nombre en robots.txt | ¿Se puede verificar? | El nombre de DNS inverso termina en | Fuentes |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Sí, por rangos IP | – |
Lista oficial de IP: openai.com/searchbot.jsonDocumentación del operador: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Sí, por rangos IP | – |
Lista oficial de IP: perplexity.ai/perplexitybot.jsonDocumentación del operador: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Sí, por rangos IP | – |
Lista oficial de IP: claude.com/crawling/bots.jsonDocumentación del operador: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Sí, por rangos IP | – |
Lista oficial de IP: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentación del operador: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
No, solo por el user agent | – |
Documentación del operador: developers.facebook.com |
Indexan páginas para los motores de respuestas con IA. Para decidir qué bots de IA dejar entrar, consulta nuestra guía sobre cómo bloquear rastreadores de IA. Un rastreador marcado como «solo user agent» no publica nada con lo que comprobarlo, así que una petición que lo nombra no se puede probar en ningún sentido.
Cómo detectar un rastreador falso en tus registros
Parte de las peticiones que nombran un rastreador y luego comprueba sus direcciones. Un falso suele delatarse de una de estas formas:
- La dirección no supera las comprobaciones de arriba: no está en ninguna lista publicada, no tiene nombre inverso bajo el dominio del operador o su nombre no vuelve a la dirección.
- Un solo nombre, muchas redes sin relación: el tráfico real de Googlebot viene de los rangos de Google, no de una docena de empresas de hosting a la vez.
- Su comportamiento no encaja: machaca las URL de acceso o de administración, prueba todos los parámetros de búsqueda o ignora tu robots.txt. Tómalo como motivo para comprobar, no como prueba por sí solo.
Antes, una trampa: detrás de una CDN o un proxy inverso, tu servidor puede registrar la dirección del proxy en lugar de la del visitante. Asegúrate de comprobar la dirección real del cliente (por ejemplo CF-Connecting-IP detrás de Cloudflare, o la dirección que transmite tu proxy), o todos los rastreadores parecerán falsos.
Nuestro comprobador de registros lo hace con un registro entero en tu navegador: lista cada dirección, lo que dice su user agent y si se puede confirmar que es el rastreador que dice ser.
Qué hacer con los rastreadores falsos
Rechaza las peticiones que nombran un rastreador pero no vienen de sus direcciones. Las reglas de abajo lo hacen para Googlebot con la lista que publica Google; el mismo patrón sirve para cualquier rastreador que publique una, como Bingbot con la lista de Bing. El Googlebot real y los visitantes normales no se ven afectados.
nginx
El bloque geo marca las direcciones de la lista de Google, el primer map marca los user agents que dicen Googlebot y el segundo map los combina: una petición que dice ser Googlebot desde fuera de la lista recibe un 403.
# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
default 0;
include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
default 0;
"~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
default 0;
"1:0" 1;
}
# In each server { } block:
if ($fake_googlebot) { return 403; }
El archivo de la lista lo crea, y lo mantiene al día, un pequeño script. Ejecútalo a diario: se niega a instalar una lista vacía, que rechazaría a todos los Googlebot reales, y solo recarga nginx si la configuración pasa la prueba (nginx -t).
#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload
Apache
En Apache, un bloque se aplica solo a las peticiones cuyo user agent dice Googlebot, y su línea Require ip solo admite los rangos de Google. El script de abajo escribe ese bloque a partir de la lista de Google.
# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '" Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new" # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful
Cloudflare
En Cloudflare, una regla personalizada del WAF con la acción Block puede usar la lista de bots buenos de Cloudflare: el campo cf.client.bot es verdadero para peticiones de bots y rastreadores buenos conocidos, así que se rechaza una petición que nombra un rastreador de buscador sin serlo.
(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot
Bloquear a los falsos no detiene a los rastreadores reales, y no debe hacerlo: rechazar al Googlebot real saca tus páginas de la Búsqueda de Google. Si además quieres dejar fuera a los rastreadores de IA, es una decisión aparte, explicada en cómo bloquear rastreadores de IA.
Automatiza la comprobación
Para grandes volúmenes, Google recomienda automatizar: For large scale lookups, use an automatic solution
(fuente) con las listas publicadas. Nuestra API responde a la misma pregunta que Verificar un bot, para una dirección y un user agent cada vez, y la página de fuentes de datos muestra cuándo se descargó por última vez cada lista oficial.
¿Buscas un rastreador concreto? El directorio de bots e IA recoge de cada uno su user agent, sus rangos IP y su nombre en robots.txt. Para bloquear varios bots de IA a la vez, usa el generador de robots.txt.
Preguntas y respuestas
¿Basta con un registro de DNS inverso (PTR)?
No. Quien controla un bloque de direcciones fija sus nombres de DNS inverso, así que un registro PTR puede indicar cualquier nombre. Solo la consulta directa, hecha en el dominio del operador, une el nombre a la dirección.
¿Puede un rastreador real no superar la comprobación?
Sí, por motivos inocentes: el operador añadió direcciones después de que descargaras tu copia de la lista, tu servidor registra la dirección de un proxy o una CDN en lugar de la del visitante, o una consulta DNS caducó. Actualiza las listas con regularidad, registra la dirección real del cliente y trata un fallo DNS aislado como desconocido, no como falso.
¿Debo hacer consultas DNS en cada petición?
No. Las consultas añaden retraso y pueden fallar con carga. Compara las direcciones con las listas publicadas en el servidor o el firewall, y deja el DNS inverso para comprobaciones puntuales y para rastreadores sin lista, guardando cada respuesta en caché.
¿Se puede verificar cualquier rastreador?
No. Algunos operadores publican direcciones, otros solo nombres de DNS inverso, otros ambas cosas y unos pocos ninguna. Las tablas de arriba dicen cuál es cuál; un rastreador que no puedes verificar solo se juzga por lo que hace.
Fuentes
Documentos oficiales que usamos para comprobar los datos de esta guía.
- Google Search Central: Verify requests from Google crawlers and fetchers
- Google Search Central: Google's common crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing: bingbot.json (published Bingbot addresses)
- Apple: About Applebot
- DuckDuckGo: DuckDuckBot
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Anthropic: Does Anthropic crawl data from the web?
- nginx: ngx_http_geo_module
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_authz_core (Require ip)
- Apache HTTP Server 2.4: Expressions (<If>)
- Cloudflare: cf.client.bot