Controlla la mia connessione

Elenco di bot e IA

34 crawler e bot di IA: chi gestisce ciascuno, cosa raccoglie, il nome da usare in robots.txt, se l'operatore dice che rispetta robots.txt e se puoi dimostrare che una visita è vera. I fatti vengono dalla documentazione di ciascun operatore; dove non c'è, lo diciamo.

Registro controllato il 11 nov 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.

Addestramento IA

BotOperatoreNome in robots.txtCosa faRispetta robots.txtSi può verificare?
Google-Extended Google Google-Extended Un controllo di robots.txt, non un crawler: decide se le pagine che Google già scansiona possono servire ad addestrare e ad alimentare i modelli Gemini. Non incide su Google Search. Un controllo di robots.txt Non è un crawler
Applebot-Extended Apple Applebot-Extended Un controllo di robots.txt, non un crawler: decide se le pagine scansionate da Applebot possono servire ad addestrare i modelli generativi di Apple. Un controllo di robots.txt Non è un crawler
GPTBot OpenAI GPTBot Raccoglie contenuti che possono servire ad addestrare i modelli di IA generativa di OpenAI. Sì Sì, dagli intervalli IP
ClaudeBot Anthropic ClaudeBot Raccoglie contenuti dal web che possono contribuire all'addestramento dei modelli Claude di Anthropic. Supporta anche Crawl-delay. Sì Sì, dagli intervalli IP
CCBot Common Crawl CCBot Costruisce l'archivio libero e aperto del web di Common Crawl, che chiunque può scaricare, compresi gli sviluppatori di IA. Sì Sì, da intervalli IP e DNS inverso
meta-externalagent Meta meta-externalagent Scansiona il web per usi come l'addestramento dei modelli di IA di base di Meta o il miglioramento dei suoi prodotti tramite l'indicizzazione. Sì No, solo dallo user agent
Amazonbot Amazon Amazonbot Migliora i prodotti e i servizi di Amazon; i contenuti possono servire ad addestrare i modelli di IA di Amazon. Sì Sì, dagli intervalli IP
Bytespider ByteDance Bytespider ByteDance, la società madre di TikTok, non ha pubblicato documentazione; gli elenchi della comunità lo indicano come un crawler che raccoglie dati per addestrare l'IA. Non documentato No, solo dallo user agent
Timpibot Timpi Timpibot Timpi non ha pubblicato documentazione che siamo riusciti a leggere; gli elenchi della comunità dicono che raccoglie dati per addestrare modelli di IA. Non documentato No, solo dallo user agent
FacebookBot Meta FacebookBot Un vecchio token di crawler di Meta che la documentazione attuale di Meta non elenca più; gli elenchi della comunità lo includono ancora per l'addestramento dell'IA. Non documentato No, solo dallo user agent

Richieste di assistenti IA

BotOperatoreNome in robots.txtCosa faRispetta robots.txtSi può verificare?
ChatGPT-User OpenAI ChatGPT-User Visita una pagina quando qualcuno ne chiede a ChatGPT o a un GPT personalizzato. Non scansiona il web in automatico. In parte Sì, dagli intervalli IP
Perplexity-User Perplexity Perplexity-User Visita una pagina quando qualcuno fa a Perplexity una domanda che la richiede. Non serve a scansionare il web né ad addestrare modelli di IA. In genere no Sì, dagli intervalli IP
Claude-User Anthropic Claude-User Visita una pagina quando un utente di Claude fa una domanda che la richiede. Sì Sì, dagli intervalli IP
meta-externalfetcher Meta meta-externalfetcher Scarica singoli link su richiesta di un utente, per esempio per le funzioni di assistente IA di Meta. In parte No, solo dallo user agent
Amzn-User Amazon Amzn-User Scarica pagine per azioni degli utenti, come rispondere a una domanda ad Alexa che richiede informazioni aggiornate. Secondo Amazon non raccoglie contenuti per addestrare l'IA. In parte Sì, dagli intervalli IP
cohere-ai Cohere cohere-ai Cohere non ha pubblicato documentazione che siamo riusciti a leggere; gli elenchi della comunità dicono che scarica pagine per rispondere alle richieste degli utenti. Non documentato No, solo dallo user agent

Crawler SEO

BotOperatoreNome in robots.txtCosa faRispetta robots.txtSi può verificare?
AhrefsBot Ahrefs AhrefsBot, AhrefsSiteAudit Scansiona il web per il database di link e SEO di Ahrefs. AhrefsSiteAudit analizza i siti su richiesta dei proprietari. Sì Sì, da intervalli IP e DNS inverso
SemrushBot Semrush SemrushBot Scansiona il web per gli strumenti SEO e di marketing di Semrush. Semrush dice di non usare blocchi di IP fissi. Sì No, solo dallo user agent
DotBot Moz dotbot Scansiona il web per il Moz Link Index, la base di Link Explorer e delle API di Moz. Sì No, solo dallo user agent
MJ12bot Majestic MJ12bot Scansiona il web per l'indice di link di Majestic. Gira sui computer di volontari, quindi i suoi indirizzi sono sparsi in tutto il mondo. Sì No, solo dallo user agent

Altro

BotOperatoreNome in robots.txtCosa faRispetta robots.txtSi può verificare?
Google special-case crawlers Google – Crawler di Google per prodotti specifici, come il controllo delle pagine di destinazione degli annunci, che lavorano in base a un accordo con il sito. In parte Sì, da intervalli IP e DNS inverso
Google user-triggered fetchers Google – Scaricano una pagina perché una persona l'ha chiesto a un prodotto Google, per esempio un lettore di feed o una verifica del sito. In genere no Sì, da intervalli IP e DNS inverso
facebookexternalhit Meta facebookexternalhit Scarica le pagine condivise su Facebook, Instagram o Messenger per mostrarne titolo, descrizione e immagine in anteprima. In parte No, solo dallo user agent
Diffbot Diffbot Diffbot Diffbot non ha pubblicato documentazione sul crawler che siamo riusciti a leggere; gli elenchi della comunità dicono che estrae dati dal web per i suoi clienti. Non documentato No, solo dallo user agent
omgili Webz.io omgili La pagina sul crawler di Webz.io ha rifiutato la nostra richiesta, quindi non abbiamo potuto leggerla; gli elenchi della comunità dicono che raccoglie dati web che Webz.io vende. Non documentato No, solo dallo user agent

Come leggere questo elenco

“Rispetta robots.txt” è quello che l'operatore dice nella sua documentazione, non qualcosa che abbiamo misurato. Alcuni bot scaricano una pagina perché una persona l'ha chiesta, e i loro operatori dicono che in quel caso robots.txt può non valere.

“Si può verificare?” dice se l'operatore pubblica gli indirizzi che il suo bot usa. Se lo fa, il nostro strumento di verifica distingue una visita vera da una falsa. Se no, l'unico segnale è lo user agent, che chiunque può copiare.

I bot segnati come “Non documentato” sono quelli i cui operatori non pubblicano nulla che abbiamo potuto leggere; il loro nome di user agent viene da elenchi della comunità. Tutte le fonti sono nella pagina delle fonti dati.