Google special-case crawlers: cos'è, come verificarlo e come bloccarlo
Google special-case crawlers è gestito da Google. Crawler di Google per prodotti specifici, come il controllo delle pagine di destinazione degli annunci, che lavorano in base a un accordo con il sito.
Dati principali
| Operatore | Google |
|---|---|
| Categoria | Altro |
| Nome in robots.txt | Non ha un unico nome per robots.txt; Google elenca diversi user agent nella sua documentazione. |
| Rispetta robots.txt | Attenzione: In parte |
| Si può verificare? | OK: Sì, da intervalli IP e DNS inverso |
| Documentazione ufficiale | |
| Registro controllato | 11 nov 2026 |
User agent
Non ha un unico nome per robots.txt; Google elenca diversi user agent nella sua documentazione.
Google non pubblica uno user agent completo: cerca Google special-case crawlers nello user agent.
Si può verificare Google special-case crawlers?
Sì Google pubblica gli indirizzi IP usati da Google special-case crawlers. Scarichiamo quell'elenco ogni 6 ore: la nostra copia è del 20 nov 2026 e ha 272 voci; Google l'ha datato 20 nov 2026.
I suoi indirizzi hanno anche nomi DNS inversi in google.com; un nome vale solo se rimanda allo stesso indirizzo.
Google special-case crawlers rispetta robots.txt?
In parte Solo in parte: Google dice che in alcuni casi Google special-case crawlers può non rispettare robots.txt, quindi robots.txt da solo non sempre lo tiene fuori.
“may ignore robots.txt rules”
Come bloccare o consentire Google special-case crawlers
Non ha un nome proprio per robots.txt; la documentazione di Google spiega quali user agent usa.
robots.txt è una richiesta, non un lucchetto. Per imporre il blocco aggiungi una regola nel firewall o nella CDN. Poiché Google pubblica gli indirizzi di Google special-case crawlers, la regola può individuarli esattamente, così un falso Google special-case crawlers non passa per quello vero.
Quanto spesso passa Google special-case crawlers?
Google non pubblica con che frequenza Google special-case crawlers visita un sito, e iplover non vede il tuo traffico. Il tuo log di accesso è l'unico conteggio affidabile: incollalo nella verifica log, che conta le visite di ogni crawler e segnala quelli falsi, nel tuo browser.
Documentazione ufficiale
developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers
Registro controllato il 11 nov 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.