Verifica un bot
Il “Googlebot” o il “GPTBot” nei tuoi log è vero? Inserisci il suo indirizzo IP, il suo user agent o entrambi. Confrontiamo l'indirizzo con gli elenchi pubblicati dagli operatori e con il DNS inverso, perché uno user agent può dire qualsiasi cosa.
Devi controllare un log intero? Incollalo nella verifica log: legge gli user agent nel tuo browser e segnala gli indirizzi che fingono di essere un crawler che non sono. Il log non lascia mai il tuo dispositivo.
Gli elenchi con cui confrontiamo
Molti strumenti per verificare i bot si fidano dello user agent, o usano elenchi di indirizzi vecchi di mesi. Noi scarichiamo l'elenco ufficiale di ogni operatore ogni 6 ore e confrontiamo gli indirizzi con la nostra copia. Anche gli operatori datano i loro elenchi, e alcune date sono vecchie: le mostriamo entrambe, così puoi giudicare tu.
| Elenco | Dimostra | Voci | Nostra copia | Data dell'operatore |
|---|---|---|---|---|
| Google common crawlers (Googlebot) | Googlebot | 317 | 13 nov 2026 | 13 nov 2026 |
| Google special-case crawlers (e.g. AdsBot) | Google special-case crawlers | 272 | 13 nov 2026 | 13 nov 2026 |
| Google user-triggered fetchers | Google user-triggered fetchers | 1612 | 13 nov 2026 | 13 nov 2026 |
| Bingbot | Bingbot | 29 | 13 nov 2026 | 3 gen 2024 |
| Applebot | Applebot | 24 | 13 nov 2026 | 15 set 2026 |
| DuckDuckBot | DuckDuckBot | 486 | 13 nov 2026 | 1 set 2026 |
| OpenAI OAI-SearchBot | OAI-SearchBot | 39 | 13 nov 2026 | 2 gen 2026 |
| PerplexityBot | PerplexityBot | 13 | 13 nov 2026 | 28 ott 2026 |
| Anthropic crawlers (ClaudeBot, Claude-User, Claude-SearchBot) | Claude-SearchBot, ClaudeBot, Claude-User | 14 | 13 nov 2026 | 20 ott 2026 |
| Amazon Amzn-SearchBot | Amzn-SearchBot | 816 | 13 nov 2026 | 8 set 2026 |
| OpenAI GPTBot | GPTBot | 18 | 13 nov 2026 | 22 set 2026 |
| Common Crawl CCBot | CCBot | 5 | 13 nov 2026 | 11 ago 2026 |
| Amazonbot | Amazonbot | 1292 | 13 nov 2026 | 8 set 2026 |
| OpenAI ChatGPT-User | ChatGPT-User | 237 | 13 nov 2026 | 6 nov 2026 |
| Perplexity-User | Perplexity-User | 10 | 13 nov 2026 | 28 ott 2026 |
| Amazon Amzn-User | Amzn-User | 1023 | 13 nov 2026 | 4 nov 2025 |
| AhrefsBot and AhrefsSiteAudit | AhrefsBot | 81 | 13 nov 2026 | senza data |
Questi bot non pubblicano indirizzi, quindi si riconoscono solo dallo user agent, che non prova nulla: meta-webindexer, meta-externalagent, Bytespider, Timpibot, FacebookBot, meta-externalfetcher, cohere-ai, SemrushBot, DotBot, MJ12bot, facebookexternalhit, Diffbot, omgili.
Cosa fa questo strumento
I bot si presentano nello user agent, ma è solo testo: uno scraper può chiamarsi Googlebot o GPTBot con una riga di codice. Quello che non può falsificare è da dove arriva la richiesta.
Per questo lo strumento controlla l'indirizzo. La maggior parte dei grandi operatori pubblica gli intervalli IP usati dai suoi crawler; scarichiamo questi elenchi ogni 6 ore. Alcuni danno anche agli indirizzi dei crawler nomi DNS inversi nel proprio dominio: cerchiamo il nome e controlliamo che rimandi allo stesso indirizzo.
Con uno user agent e un indirizzo insieme ottieni un verdetto: verificato, falso, un bot vero che usa il nome di un altro, oppure non verificabile perché l'operatore non pubblica nulla con cui confrontare.
Come leggere i risultati
- Verificato: l'indirizzo è nell'elenco dell'operatore, oppure il suo nome DNS inverso è nel dominio dell'operatore e rimanda all'indirizzo.
- Falso: lo user agent nomina un bot che pubblica i suoi indirizzi, e questo indirizzo non è tra quelli.
- Non si può verificare: il bot non pubblica indirizzi, quindi c'è solo lo user agent. Non è una prova né in un senso né nell'altro.
- La tabella degli elenchi mostra quando abbiamo scaricato ogni elenco l'ultima volta e la data che gli dà l'operatore. Una data vecchia dell'operatore vuol dire che l'operatore non lo ha aggiornato, non che la nostra copia è vecchia.
Domande frequenti
Perché non fidarsi dello user agent?
Perché chiunque può mandare qualsiasi user agent. Gli scraper si spacciano spesso per Googlebot perché molti siti lo lasciano passare. L'indirizzo, invece, non si può falsificare per una richiesta web andata a buon fine.
Che cosa vuol dire DNS inverso “confermato in avanti”?
Chi controlla un indirizzo può dargli qualsiasi nome DNS inverso, anche uno che finisce con googlebot.com. Cercare di nuovo quel nome e ottenere lo stesso indirizzo dimostra che il gestore del dominio è d'accordo, perché solo lui controlla quel dominio.
Perché alcuni bot non si possono verificare?
I loro operatori non pubblicano né intervalli IP né nomi DNS inversi. Allora l'unico segnale è lo user agent, che non prova nulla. Lo diciamo, invece di tirare a indovinare.
La mia richiesta viene salvata?
No. L'indirizzo viene confrontato con la nostra copia degli elenchi e cercato nel DNS e nei registri, come in qualsiasi controllo IP. Non teniamo traccia di quello che controlli.
Posso controllare molti indirizzi insieme?
Sì: incolla un log del server nella verifica log. Legge gli user agent nel tuo browser e segnala gli indirizzi che fingono di essere un crawler che non sono. Le nostre fonti sono nella pagina delle fonti dati.