Controlla la mia connessione

Elenco di bot e IA · Altro

Google special-case crawlers: cos'è, come verificarlo e come bloccarlo

Google special-case crawlers è gestito da Google. Crawler di Google per prodotti specifici, come il controllo delle pagine di destinazione degli annunci, che lavorano in base a un accordo con il sito.

Dati principali

Dati principali
Operatore
Google
Categoria
Altro
Nome in robots.txt
Non ha un unico nome per robots.txt; Google elenca diversi user agent nella sua documentazione.
Rispetta robots.txt
Attenzione: In parte
Si può verificare?
OK: Sì, da intervalli IP e DNS inverso
Documentazione ufficiale
Registro controllato
11 nov 2026

User agent

Non ha un unico nome per robots.txt; Google elenca diversi user agent nella sua documentazione.

Google non pubblica uno user agent completo: cerca Google special-case crawlers nello user agent.

Si può verificare Google special-case crawlers?

Sì Google pubblica gli indirizzi IP usati da Google special-case crawlers. Scarichiamo quell'elenco ogni 6 ore: la nostra copia è del 20 nov 2026 e ha 272 voci; Google l'ha datato 20 nov 2026.

I suoi indirizzi hanno anche nomi DNS inversi in google.com; un nome vale solo se rimanda allo stesso indirizzo.

Controlla un indirizzo dei tuoi log

Google special-case crawlers rispetta robots.txt?

In parte Solo in parte: Google dice che in alcuni casi Google special-case crawlers può non rispettare robots.txt, quindi robots.txt da solo non sempre lo tiene fuori.

“may ignore robots.txt rules”

Come bloccare o consentire Google special-case crawlers

Non ha un nome proprio per robots.txt; la documentazione di Google spiega quali user agent usa.

robots.txt è una richiesta, non un lucchetto. Per imporre il blocco aggiungi una regola nel firewall o nella CDN. Poiché Google pubblica gli indirizzi di Google special-case crawlers, la regola può individuarli esattamente, così un falso Google special-case crawlers non passa per quello vero.

Quanto spesso passa Google special-case crawlers?

Google non pubblica con che frequenza Google special-case crawlers visita un sito, e iplover non vede il tuo traffico. Il tuo log di accesso è l'unico conteggio affidabile: incollalo nella verifica log, che conta le visite di ogni crawler e segnala quelli falsi, nel tuo browser.

Documentazione ufficiale

developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers

Registro controllato il 11 nov 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.