È davvero Googlebot? Come verificare l'IP di un crawler
Una riga del tuo log dice Googlebot/2.1, ma martella la pagina di login o scarica tutto il tuo catalogo ogni ora. È davvero Google? Di solito no, e puoi dimostrarlo in un minuto.
Uno user agent è una riga di testo che il client scrive su se stesso. Scraper e strumenti d'attacco copiano quello di Googlebot perché i gestori dei siti hanno paura di bloccarlo, e alcuni firewall lo lasciano passare. L'indirizzo è diverso. Per una richiesta web completata è la rete reale da cui è arrivata la connessione, e Google controlla i nomi DNS dei suoi indirizzi di crawling. È questo che verifichi.
Il test delle due interrogazioni
Il metodo documentato da Google ha due passaggi, e servono entrambi:
- Ricerca inversa: chiedi al DNS quale nome corrisponde all'indirizzo. Un indirizzo di crawling autentico ha un nome sotto
googlebot.com,google.comogoogleusercontent.com. - Ricerca diretta: chiedi al DNS l'indirizzo di quel nome. Deve essere quello da cui sei partito.
È il secondo passaggio a rendere tutto una prova. Chi controlla un indirizzo può impostare il nome inverso a piacere, compreso crawl-1-2-3-4.googlebot.com. Solo Google può far puntare un nome googlebot.com verso un indirizzo.
Su Linux o macOS:
host 66.249.66.1
host crawl-66-249-66-1.googlebot.comSu Windows usa nslookup 66.249.66.1 e poi nslookup crawl-66-249-66-1.googlebot.com, oppure in PowerShell Resolve-DnsName 66.249.66.1.
La risposta per questo indirizzo: il nome inverso è crawl-66-249-66-1.googlebot.com, e quel nome punta di nuovo a 66.249.66.1. Entrambi i passaggi superati: è Google.
Il controllo più rapido: le liste pubblicate da Google
Google pubblica anche gli indirizzi dei suoi crawler in file JSON, collegati dalla stessa pagina di documentazione. Quello per Googlebot e gli altri crawler comuni è common-crawlers.json. Se un indirizzo cade in uno dei suoi intervalli, è il crawler di Google. È più facile da automatizzare del DNS, ed è ciò che usano gli strumenti di iplover, aggiornati ogni giorno.
Un esempio concreto: un Googlebot vero e uno falso
Ecco due righe dello stesso log. Entrambe dicono di essere Googlebot.
66.249.66.1 - - [05/Nov/2026:09:15:40 +0000] "GET /2026/09/router-settings/ HTTP/1.1" 200 21004 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
3.5.140.1 - - [05/Nov/2026:09:20:55 +0000] "GET /.env HTTP/1.1" 404 548 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"Inserisci entrambi gli indirizzi nel lookup IP di iplover, e i risultati non si somigliano affatto:
| Controllo | 66.249.66.1 | 3.5.140.1 |
|---|---|---|
| Verdetto | Crawler verificato Questo è Googlebot. | Provider cloud o hosting Questo indirizzo appartiene a Amazon Web Services. |
| Lista corrispondente | Google common crawlers (Googlebot) | AWS IP address ranges |
| DNS inverso | crawl-66-249-66-1.googlebot.com, confermato in avanti | Nessun nome |
| Titolare della rete | Google LLC (AS15169), ARIN | Amazon Data Services Northern Virginia (AS16509), ARIN |
Il primo è Google, a ogni test. Il secondo è un server preso in affitto da Amazon che ha scritto “Googlebot” nel suo user agent, e cercava un file .env pieno di password. I crawler di Google non girano sul cloud di Amazon. Quella riga è uno scanner travestito.
Per quello vero, il consiglio del lookup è netto: non bloccarlo, perché bloccarlo può far sparire le tue pagine dai risultati di Google.
Se trovi questo, fai questo
| Cosa trovi | Cosa significa | Cosa fare |
|---|---|---|
| Entrambi i passaggi DNS superati, o l'indirizzo è nella lista di Google | Il vero Googlebot | Lascialo stare. Per cambiare quanto scansiona usa robots.txt e Search Console. |
Il nome inverso è sotto googleusercontent.com | Un servizio Google che scarica per conto di un utente o di un cliente Google Cloud | È la rete di Google, ma non per forza il crawler di ricerca. Giudicalo da cosa chiede. |
| Il nome inverso sembra giusto, ma la ricerca diretta dà un altro indirizzo | Un nome inverso falsificato | Consideralo falso. |
| Nessun nome inverso, o un nome che non c'entra con Google | Non è Google | Trattalo come qualsiasi bot sconosciuto. Bloccalo se si comporta male. |
Un falso “Googlebot” che chiede .env, backup o wp-login.php | Uno scanner che si nasconde dietro un nome fidato | Verifica che quei percorsi diano 404, poi blocca l'indirizzo o limitane la frequenza. |
Gli altri grandi crawler
La stessa regola vale per ogni crawler: controlla l'indirizzo, mai lo user agent. La maggior parte dei grandi operatori pubblica gli intervalli dei propri crawler nello stesso formato JSON di Google. Queste sono le liste che usa iplover:
- Bing:
https://www.bing.com/toolbox/bingbot.json - Apple (Applebot):
https://search.developer.apple.com/applebot.json - DuckDuckGo:
https://duckduckgo.com/duckduckbot.json - OpenAI (GPTBot):
https://openai.com/gptbot.json
La nostra pagina sulle fonti dei dati elenca ogni lista di crawler che carichiamo e quando è stata aggiornata l'ultima volta.
Bloccare i falsi senza danneggiare quello vero
Non creare mai una regola del tipo “lascia passare tutto ciò che si dichiara Googlebot” basata sul solo user agent. È esattamente la falla su cui contano i falsi. Se il tuo firewall o la tua CDN ha una categoria di “bot verificati” (Cloudflare ce l'ha), usala: controlla l'indirizzo per te. Se scrivi una regola tua, consenti gli intervalli pubblicati e tratta tutto il resto che dichiara di essere un crawler come un visitatore qualsiasi.
E ricorda cos'è un crawler falso: un bot che non vuole essere giudicato come un bot. Trattalo da bot. Se valga la pena bloccarlo dipende da cosa fa, non dal nome che usa.
Fonti
Documenti ufficiali usati per verificare i fatti di questa guida.