Come verificare se un crawler è vero: Googlebot, Bingbot e come riconoscere i bot falsi
Una richiesta nel tuo log dice Googlebot. Forse è Google; forse è uno scraper che ha copiato il nome di Google perché pochi gestori di siti osano bloccarlo. Questa guida mostra i due controlli che provano davvero chi ha inviato una richiesta, per i principali crawler dei motori di ricerca e i crawler della ricerca IA, con l'elenco IP ufficiale di ogni operatore, i suoi nomi DNS inversi e le regole per rifiutare i falsi.
«Ultimo aggiornamento», in alto, indica quando abbiamo rivisto l'articolo l'ultima volta. «Registro controllato», sotto ogni tabella, indica quando abbiamo confrontato l'ultima volta ogni crawler del registro con la documentazione del suo operatore; gli elenchi IP ufficiali vengono scaricati di nuovo ogni 6 ore.
Perché lo user agent non prova nulla
Pensa allo user agent come a un cartellino con il nome che il visitatore scrive da sé. I crawler veri ne scrivono uno onesto, ma niente impedisce a chiunque altro di scrivere Googlebot sul proprio, e copiare la stringa esatta di Googlebot richiede una riga di codice. Scraper e strumenti di attacco lo fanno apposta: alcuni firewall e limiti di frequenza lasciano passare i crawler noti.
L'indirizzo è un'altra cosa. È da dove è arrivata davvero la connessione, e solo l'operatore controlla gli indirizzi che pubblica e i nomi DNS sotto il proprio dominio. Entrambi i controlli qui sotto usano l'indirizzo, mai il cartellino.
I due controlli che funzionano
Basta che ne passi uno, quello che l'operatore supporta. Alcuni operatori li supportano entrambi.
1. L'elenco IP pubblicato dall'operatore
Molti operatori pubblicano gli intervalli di indirizzi del loro crawler, di solito come file JSON di prefissi IPv4 e IPv6. Se l'indirizzo rientra in uno di questi, la richiesta viene dalla rete di quell'operatore. È il controllo più rapido, e quello da usare in un firewall, perché non richiede ricerche a ogni richiesta. Gli elenchi cambiano, quindi scaricali di nuovo regolarmente invece di copiarli una volta.
2. DNS inverso confermato (FCrDNS)
È il metodo che Google documenta per i propri crawler. Servono due ricerche DNS:
- Ricerca inversa: chiedi al DNS il nome dell'indirizzo (il suo record
PTR). - Controlla che il nome finisca con il dominio dell'operatore. Per Google:
Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.
(fonte) - Ricerca diretta: chiedi al DNS l'indirizzo di quel nome.
- Conferma che coincida. Google:
Verify that it's the same as the original accessing IP address from your logs.
(fonte)
È il passo 3 a renderla una prova. Chi controlla un indirizzo può impostarne il nome inverso a piacere, anche crawl-1-2-3-4.googlebot.com. Solo Google può far puntare un nome sotto googlebot.com a un indirizzo. Con dig su Linux o macOS, l'esempio di Google è questo:
$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1
Su Windows, nslookup fa le stesse due ricerche:
> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com
Gli indirizzi di Bingbot hanno nomi inversi sotto search.msn.com che riportano allo stesso indirizzo; questa è una ricerca reale su un indirizzo di Bingbot. Noi verifichiamo Bingbot con l'elenco pubblicato da Bing, linkato nella tabella qui sotto.
$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10
Uno strumento che mostra solo il nome inverso (il record PTR) mostra il passo 1, che chiunque può falsificare. Il nostro strumento Verifica un bot fa entrambe le ricerche e controlla gli elenchi ufficiali; la nostra guida sul DNS inverso spiega i record PTR in generale.
Questo crawler è vero? Un controllo rapido
| Controllo | Crawler vero | Falso |
|---|---|---|
| Lo user agent cita un crawler noto | Sì | Di solito anche lui: non prova nulla |
| L'indirizzo è nell'elenco pubblicato dall'operatore | Sì | No |
| Il nome DNS inverso è sotto il dominio dell'operatore | Sì, per gli operatori che lo usano | Assente, generico o di un altro dominio |
| Quel nome riporta allo stesso indirizzo | Sì | No, o per niente |
| Cosa richiede | Pagine e robots.txt, a ritmo costante | Spesso pagine di login, percorsi di amministrazione o moduli di ricerca: un indizio, non una prova |
I principali crawler e come verificarli
Per ogni crawler: il token dello user agent, come provare che una richiesta viene da lui, i nomi DNS inversi dove l'operatore li usa e le fonti ufficiali. Ogni nome porta alla pagina del crawler nel nostro elenco di IA e bot. Le tabelle coprono i crawler del nostro registro, non tutti i bot del web.
Crawler dei motori di ricerca
| Bot | Operatore | Nome in robots.txt | Si può verificare? | Il nome DNS inverso finisce con | Fonti |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Sì, da intervalli IP e DNS inverso | .googlebot.com .geo.googlebot.com |
Elenco IP ufficiale: developers.google.com/static/crawling/ipranges/common-crawlers.jsonDocumentazione dell'operatore: developers.google.com |
|
| Bingbot | Microsoft | bingbot |
Sì, dagli intervalli IP | – |
Elenco IP ufficiale: bing.com/toolbox/bingbot.jsonDocumentazione dell'operatore: bing.com |
| Applebot | Apple | Applebot |
Sì, da intervalli IP e DNS inverso | .applebot.apple.com |
Elenco IP ufficiale: search.developer.apple.com/applebot.jsonDocumentazione dell'operatore: support.apple.com |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Sì, dagli intervalli IP | – |
Elenco IP ufficiale: duckduckgo.com/duckduckbot.jsonDocumentazione dell'operatore: duckduckgo.com |
Google non ha solo Googlebot: i crawler per casi speciali e i fetcher attivati dall'utente arrivano da elenchi pubblicati separati e hanno nomi inversi sotto google.com o gae.googleusercontent.com invece di googlebot.com. Controlla un indirizzo con l'elenco del tipo di crawler che dichiara di essere.
Crawler della ricerca IA
| Bot | Operatore | Nome in robots.txt | Si può verificare? | Il nome DNS inverso finisce con | Fonti |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Sì, dagli intervalli IP | – |
Elenco IP ufficiale: openai.com/searchbot.jsonDocumentazione dell'operatore: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Sì, dagli intervalli IP | – |
Elenco IP ufficiale: perplexity.ai/perplexitybot.jsonDocumentazione dell'operatore: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Sì, dagli intervalli IP | – |
Elenco IP ufficiale: claude.com/crawling/bots.jsonDocumentazione dell'operatore: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Sì, dagli intervalli IP | – |
Elenco IP ufficiale: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentazione dell'operatore: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
No, solo dallo user agent | – |
Documentazione dell'operatore: developers.facebook.com |
Indicizzano le pagine per i motori di risposte IA. Per decidere quali bot IA far entrare, vedi la nostra guida su come bloccare i crawler IA. Un crawler indicato come «solo user agent» non pubblica nulla con cui verificarlo, quindi una richiesta che lo cita non si può provare in nessun senso.
Come riconoscere un crawler falso nei log
Parti dalle richieste che citano un crawler, poi verifica i loro indirizzi. Un falso di solito si tradisce in uno di questi modi:
- L'indirizzo non supera i controlli qui sopra: non è in nessun elenco pubblicato, non ha un nome inverso sotto il dominio dell'operatore, oppure il nome non riporta all'indirizzo.
- Un solo nome, tante reti senza legami: il vero traffico di Googlebot arriva dagli intervalli di Google, non da una dozzina di aziende di hosting insieme.
- Il comportamento non torna: insiste su URL di login o di amministrazione, prova ogni parametro di ricerca o ignora il tuo robots.txt. Consideralo un motivo per controllare, non una prova da solo.
Prima una trappola: dietro una CDN o un reverse proxy, il server può registrare l'indirizzo del proxy invece di quello del visitatore. Verifica di controllare il vero indirizzo del client (per esempio CF-Connecting-IP dietro Cloudflare, o l'indirizzo che il tuo proxy inoltra), altrimenti ogni crawler sembrerà falso.
Il nostro controllo dei log lo fa per un intero log nel tuo browser: elenca ogni indirizzo, cosa dichiara il suo user agent e se un crawler dichiarato può essere confermato.
Cosa fare con i crawler falsi
Rifiuta le richieste che citano un crawler ma non vengono dai suoi indirizzi. Le regole qui sotto lo fanno per Googlebot con l'elenco pubblicato da Google; lo stesso schema funziona per qualsiasi crawler che ne pubblica uno, come Bingbot con l'elenco di Bing. Il vero Googlebot e i visitatori normali non ne risentono.
nginx
Il blocco geo marca gli indirizzi dell'elenco di Google, il primo map marca gli user agent che dicono Googlebot, e il secondo map li combina: una richiesta che si dichiara Googlebot da fuori dell'elenco riceve 403.
# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
default 0;
include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
default 0;
"~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
default 0;
"1:0" 1;
}
# In each server { } block:
if ($fake_googlebot) { return 403; }
Il file dell'elenco lo crea, e lo tiene aggiornato, un piccolo script. Eseguilo ogni giorno: si rifiuta di installare un elenco vuoto, che respingerebbe ogni vero Googlebot, e ricarica nginx solo se la configurazione supera il test (nginx -t).
#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload
Apache
In Apache, un blocco vale solo per le richieste il cui user agent dice Googlebot, e la sua riga Require ip ammette solo gli intervalli di Google. Lo script qui sotto scrive quel blocco a partire dall'elenco di Google.
# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '" Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new" # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful
Cloudflare
Su Cloudflare, una regola personalizzata WAF con l'azione Block può usare l'elenco di bot buoni di Cloudflare: il campo cf.client.bot è vero per le richieste di bot e crawler buoni noti, quindi una richiesta che cita un crawler di un motore di ricerca senza di esso viene rifiutata.
(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot
Bloccare i falsi non ferma i crawler veri, e non deve farlo: rifiutare il vero Googlebot toglie le tue pagine dalla Ricerca Google. Se vuoi tenere fuori anche i crawler IA, è una decisione a parte, trattata in come bloccare i crawler IA.
Automatizza il controllo
Per grandi volumi Google consiglia di automatizzare: For large scale lookups, use an automatic solution
(fonte) con gli elenchi pubblicati. La nostra API risponde alla stessa domanda di Verifica un bot, per un indirizzo e uno user agent alla volta, e la pagina delle fonti mostra quando è stato scaricato l'ultima volta ogni elenco ufficiale.
Cerchi un crawler in particolare? L'elenco di bot e IA riporta per ciascuno user agent, intervalli IP e nome in robots.txt. Per bloccare più bot di IA in una volta, usa il generatore di robots.txt.
Domande e risposte
Basta un record DNS inverso (PTR)?
No. Chi controlla un blocco di indirizzi ne imposta i nomi DNS inversi, quindi un record PTR può indicare qualsiasi nome. Solo la ricerca diretta, fatta sul dominio dell'operatore, lega il nome all'indirizzo.
Un crawler vero può non superare il controllo?
Sì, per motivi innocenti: l'operatore ha aggiunto indirizzi dopo che hai scaricato la tua copia dell'elenco, il server registra l'indirizzo di un proxy o di una CDN invece di quello del visitatore, oppure una ricerca DNS è scaduta. Aggiorna gli elenchi regolarmente, registra il vero indirizzo del client e considera un singolo errore DNS come sconosciuto, non come falso.
Devo fare ricerche DNS a ogni richiesta?
No. Le ricerche aggiungono ritardo e sotto carico possono fallire. Confronta gli indirizzi con gli elenchi pubblicati nel server o nel firewall, e tieni il DNS inverso per i controlli a campione e per i crawler senza elenco, memorizzando ogni risposta.
Tutti i crawler si possono verificare?
No. Alcuni operatori pubblicano gli indirizzi, altri solo i nomi DNS inversi, altri entrambi, e qualcuno nessuno dei due. Le tabelle qui sopra dicono quale vale per chi; un crawler che non puoi verificare si giudica solo da ciò che fa.
Fonti
Documenti ufficiali usati per verificare i fatti di questa guida.
- Google Search Central: Verify requests from Google crawlers and fetchers
- Google Search Central: Google's common crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing: bingbot.json (published Bingbot addresses)
- Apple: About Applebot
- DuckDuckGo: DuckDuckBot
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Anthropic: Does Anthropic crawl data from the web?
- nginx: ngx_http_geo_module
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_authz_core (Require ip)
- Apache HTTP Server 2.4: Expressions (<If>)
- Cloudflare: cf.client.bot