Controlla la mia connessione

Guide · Indagare su un IP

Come verificare se un crawler è vero: Googlebot, Bingbot e come riconoscere i bot falsi

Una richiesta nel tuo log dice Googlebot. Forse è Google; forse è uno scraper che ha copiato il nome di Google perché pochi gestori di siti osano bloccarlo. Questa guida mostra i due controlli che provano davvero chi ha inviato una richiesta, per i principali crawler dei motori di ricerca e i crawler della ricerca IA, con l'elenco IP ufficiale di ogni operatore, i suoi nomi DNS inversi e le regole per rifiutare i falsi.

«Ultimo aggiornamento», in alto, indica quando abbiamo rivisto l'articolo l'ultima volta. «Registro controllato», sotto ogni tabella, indica quando abbiamo confrontato l'ultima volta ogni crawler del registro con la documentazione del suo operatore; gli elenchi IP ufficiali vengono scaricati di nuovo ogni 6 ore.

Perché lo user agent non prova nulla

Pensa allo user agent come a un cartellino con il nome che il visitatore scrive da sé. I crawler veri ne scrivono uno onesto, ma niente impedisce a chiunque altro di scrivere Googlebot sul proprio, e copiare la stringa esatta di Googlebot richiede una riga di codice. Scraper e strumenti di attacco lo fanno apposta: alcuni firewall e limiti di frequenza lasciano passare i crawler noti.

L'indirizzo è un'altra cosa. È da dove è arrivata davvero la connessione, e solo l'operatore controlla gli indirizzi che pubblica e i nomi DNS sotto il proprio dominio. Entrambi i controlli qui sotto usano l'indirizzo, mai il cartellino.

I due controlli che funzionano

Basta che ne passi uno, quello che l'operatore supporta. Alcuni operatori li supportano entrambi.

1. L'elenco IP pubblicato dall'operatore

Molti operatori pubblicano gli intervalli di indirizzi del loro crawler, di solito come file JSON di prefissi IPv4 e IPv6. Se l'indirizzo rientra in uno di questi, la richiesta viene dalla rete di quell'operatore. È il controllo più rapido, e quello da usare in un firewall, perché non richiede ricerche a ogni richiesta. Gli elenchi cambiano, quindi scaricali di nuovo regolarmente invece di copiarli una volta.

2. DNS inverso confermato (FCrDNS)

È il metodo che Google documenta per i propri crawler. Servono due ricerche DNS:

  1. Ricerca inversa: chiedi al DNS il nome dell'indirizzo (il suo record PTR).
  2. Controlla che il nome finisca con il dominio dell'operatore. Per Google: Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com. (fonte)
  3. Ricerca diretta: chiedi al DNS l'indirizzo di quel nome.
  4. Conferma che coincida. Google: Verify that it's the same as the original accessing IP address from your logs. (fonte)

È il passo 3 a renderla una prova. Chi controlla un indirizzo può impostarne il nome inverso a piacere, anche crawl-1-2-3-4.googlebot.com. Solo Google può far puntare un nome sotto googlebot.com a un indirizzo. Con dig su Linux o macOS, l'esempio di Google è questo:

$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1

Su Windows, nslookup fa le stesse due ricerche:

> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com

Gli indirizzi di Bingbot hanno nomi inversi sotto search.msn.com che riportano allo stesso indirizzo; questa è una ricerca reale su un indirizzo di Bingbot. Noi verifichiamo Bingbot con l'elenco pubblicato da Bing, linkato nella tabella qui sotto.

$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10

Uno strumento che mostra solo il nome inverso (il record PTR) mostra il passo 1, che chiunque può falsificare. Il nostro strumento Verifica un bot fa entrambe le ricerche e controlla gli elenchi ufficiali; la nostra guida sul DNS inverso spiega i record PTR in generale.

Questo crawler è vero? Un controllo rapido

Segni di un crawler vero e di uno falso
ControlloCrawler veroFalso
Lo user agent cita un crawler notoSìDi solito anche lui: non prova nulla
L'indirizzo è nell'elenco pubblicato dall'operatoreSìNo
Il nome DNS inverso è sotto il dominio dell'operatoreSì, per gli operatori che lo usanoAssente, generico o di un altro dominio
Quel nome riporta allo stesso indirizzoSìNo, o per niente
Cosa richiedePagine e robots.txt, a ritmo costanteSpesso pagine di login, percorsi di amministrazione o moduli di ricerca: un indizio, non una prova

I principali crawler e come verificarli

Per ogni crawler: il token dello user agent, come provare che una richiesta viene da lui, i nomi DNS inversi dove l'operatore li usa e le fonti ufficiali. Ogni nome porta alla pagina del crawler nel nostro elenco di IA e bot. Le tabelle coprono i crawler del nostro registro, non tutti i bot del web.

Crawler dei motori di ricerca

Crawler dei motori di ricerca. Registro controllato il 11 novembre 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.
BotOperatoreNome in robots.txtSi può verificare?Il nome DNS inverso finisce conFonti
Googlebot Google
Googlebot
Sì, da intervalli IP e DNS inverso
.googlebot.com .geo.googlebot.com
Bingbot Microsoft
bingbot
Sì, dagli intervalli IP
–
Elenco IP ufficiale: bing.com/toolbox/bingbot.jsonDocumentazione dell'operatore: bing.com
Applebot Apple
Applebot
Sì, da intervalli IP e DNS inverso
.applebot.apple.com
Elenco IP ufficiale: search.developer.apple.com/applebot.jsonDocumentazione dell'operatore: support.apple.com
DuckDuckBot DuckDuckGo
DuckDuckBot
Sì, dagli intervalli IP
–
Elenco IP ufficiale: duckduckgo.com/duckduckbot.jsonDocumentazione dell'operatore: duckduckgo.com

Google non ha solo Googlebot: i crawler per casi speciali e i fetcher attivati dall'utente arrivano da elenchi pubblicati separati e hanno nomi inversi sotto google.com o gae.googleusercontent.com invece di googlebot.com. Controlla un indirizzo con l'elenco del tipo di crawler che dichiara di essere.

Crawler della ricerca IA

Crawler della ricerca IA. Registro controllato il 11 novembre 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.
BotOperatoreNome in robots.txtSi può verificare?Il nome DNS inverso finisce conFonti
OAI-SearchBot OpenAI
OAI-SearchBot
Sì, dagli intervalli IP
–
Elenco IP ufficiale: openai.com/searchbot.jsonDocumentazione dell'operatore: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Sì, dagli intervalli IP
–
Elenco IP ufficiale: perplexity.ai/perplexitybot.jsonDocumentazione dell'operatore: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Sì, dagli intervalli IP
–
Elenco IP ufficiale: claude.com/crawling/bots.jsonDocumentazione dell'operatore: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Sì, dagli intervalli IP
–
Elenco IP ufficiale: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentazione dell'operatore: developer.amazon.com
meta-webindexer Meta
meta-webindexer
No, solo dallo user agent
–
Documentazione dell'operatore: developers.facebook.com

Indicizzano le pagine per i motori di risposte IA. Per decidere quali bot IA far entrare, vedi la nostra guida su come bloccare i crawler IA. Un crawler indicato come «solo user agent» non pubblica nulla con cui verificarlo, quindi una richiesta che lo cita non si può provare in nessun senso.

Come riconoscere un crawler falso nei log

Parti dalle richieste che citano un crawler, poi verifica i loro indirizzi. Un falso di solito si tradisce in uno di questi modi:

Prima una trappola: dietro una CDN o un reverse proxy, il server può registrare l'indirizzo del proxy invece di quello del visitatore. Verifica di controllare il vero indirizzo del client (per esempio CF-Connecting-IP dietro Cloudflare, o l'indirizzo che il tuo proxy inoltra), altrimenti ogni crawler sembrerà falso.

Il nostro controllo dei log lo fa per un intero log nel tuo browser: elenca ogni indirizzo, cosa dichiara il suo user agent e se un crawler dichiarato può essere confermato.

Cosa fare con i crawler falsi

Rifiuta le richieste che citano un crawler ma non vengono dai suoi indirizzi. Le regole qui sotto lo fanno per Googlebot con l'elenco pubblicato da Google; lo stesso schema funziona per qualsiasi crawler che ne pubblica uno, come Bingbot con l'elenco di Bing. Il vero Googlebot e i visitatori normali non ne risentono.

nginx

Il blocco geo marca gli indirizzi dell'elenco di Google, il primo map marca gli user agent che dicono Googlebot, e il secondo map li combina: una richiesta che si dichiara Googlebot da fuori dell'elenco riceve 403.

# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
    default 0;
    include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
    default 0;
    "~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
    default 0;
    "1:0" 1;
}

# In each server { } block:
if ($fake_googlebot) { return 403; }

Il file dell'elenco lo crea, e lo tiene aggiornato, un piccolo script. Eseguilo ogni giorno: si rifiuta di installare un elenco vuoto, che respingerebbe ogni vero Googlebot, e ricarica nginx solo se la configurazione supera il test (nginx -t).

#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
  | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload

Apache

In Apache, un blocco vale solo per le richieste il cui user agent dice Googlebot, e la sua riga Require ip ammette solo gli intervalli di Google. Lo script qui sotto scrive quel blocco a partire dall'elenco di Google.

# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
  echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
  curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
    | jq -r '"    Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
  echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new"   # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful

Cloudflare

Su Cloudflare, una regola personalizzata WAF con l'azione Block può usare l'elenco di bot buoni di Cloudflare: il campo cf.client.bot è vero per le richieste di bot e crawler buoni noti, quindi una richiesta che cita un crawler di un motore di ricerca senza di esso viene rifiutata.

(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot

Bloccare i falsi non ferma i crawler veri, e non deve farlo: rifiutare il vero Googlebot toglie le tue pagine dalla Ricerca Google. Se vuoi tenere fuori anche i crawler IA, è una decisione a parte, trattata in come bloccare i crawler IA.

Automatizza il controllo

Per grandi volumi Google consiglia di automatizzare: For large scale lookups, use an automatic solution (fonte) con gli elenchi pubblicati. La nostra API risponde alla stessa domanda di Verifica un bot, per un indirizzo e uno user agent alla volta, e la pagina delle fonti mostra quando è stato scaricato l'ultima volta ogni elenco ufficiale.

Domande e risposte

Basta un record DNS inverso (PTR)?

No. Chi controlla un blocco di indirizzi ne imposta i nomi DNS inversi, quindi un record PTR può indicare qualsiasi nome. Solo la ricerca diretta, fatta sul dominio dell'operatore, lega il nome all'indirizzo.

Un crawler vero può non superare il controllo?

Sì, per motivi innocenti: l'operatore ha aggiunto indirizzi dopo che hai scaricato la tua copia dell'elenco, il server registra l'indirizzo di un proxy o di una CDN invece di quello del visitatore, oppure una ricerca DNS è scaduta. Aggiorna gli elenchi regolarmente, registra il vero indirizzo del client e considera un singolo errore DNS come sconosciuto, non come falso.

Devo fare ricerche DNS a ogni richiesta?

No. Le ricerche aggiungono ritardo e sotto carico possono fallire. Confronta gli indirizzi con gli elenchi pubblicati nel server o nel firewall, e tieni il DNS inverso per i controlli a campione e per i crawler senza elenco, memorizzando ogni risposta.

Tutti i crawler si possono verificare?

No. Alcuni operatori pubblicano gli indirizzi, altri solo i nomi DNS inversi, altri entrambi, e qualcuno nessuno dei due. Le tabelle qui sopra dicono quale vale per chi; un crawler che non puoi verificare si giudica solo da ciò che fa.

Fonti

Documenti ufficiali usati per verificare i fatti di questa guida.