Elenco di bot e IA
34 crawler e bot di IA: chi gestisce ciascuno, cosa raccoglie, il nome da usare in robots.txt, se l'operatore dice che rispetta robots.txt e se puoi dimostrare che una visita è vera. I fatti vengono dalla documentazione di ciascun operatore; dove non c'è, lo diciamo.
Registro controllato il 11 nov 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.
Motore di ricerca
| Bot | Operatore | Nome in robots.txt | Cosa fa | Rispetta robots.txt | Si può verificare? |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Scansiona il web per Google Search. | Sì | Sì, da intervalli IP e DNS inverso | |
| Bingbot | Microsoft | bingbot |
Scansiona il web per la ricerca Bing. | Non documentato | Sì, dagli intervalli IP |
| Applebot | Apple | Applebot |
Scansiona il web per le funzioni di ricerca di Apple in Siri, Spotlight e Safari; i dati possono servire anche ad addestrare i modelli di base di Apple. | Sì | Sì, da intervalli IP e DNS inverso |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Scansiona il web per migliorare i risultati di ricerca di DuckDuckGo. | Sì | Sì, dagli intervalli IP |
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Trova e collega i siti nelle risposte di ricerca di ChatGPT. Non serve ad addestrare i modelli. | Sì | Sì, dagli intervalli IP |
| PerplexityBot | Perplexity | PerplexityBot |
Trova e collega i siti nei risultati di ricerca di Perplexity. Secondo Perplexity non serve a raccogliere contenuti per i modelli di IA di base. | Sì | Sì, dagli intervalli IP |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Naviga il web per migliorare la qualità dei risultati di ricerca per gli utenti di Claude. | Sì | Sì, dagli intervalli IP |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Migliora la ricerca nei prodotti e servizi di Amazon. Secondo Amazon non raccoglie contenuti per addestrare l'IA generativa. | Sì | Sì, dagli intervalli IP |
| meta-webindexer | Meta | meta-webindexer |
Indicizza le pagine web per la ricerca in Meta AI. | Sì | No, solo dallo user agent |
Addestramento IA
| Bot | Operatore | Nome in robots.txt | Cosa fa | Rispetta robots.txt | Si può verificare? |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Un controllo di robots.txt, non un crawler: decide se le pagine che Google già scansiona possono servire ad addestrare e ad alimentare i modelli Gemini. Non incide su Google Search. | Un controllo di robots.txt | Non è un crawler | |
| Applebot-Extended | Apple | Applebot-Extended |
Un controllo di robots.txt, non un crawler: decide se le pagine scansionate da Applebot possono servire ad addestrare i modelli generativi di Apple. | Un controllo di robots.txt | Non è un crawler |
| GPTBot | OpenAI | GPTBot |
Raccoglie contenuti che possono servire ad addestrare i modelli di IA generativa di OpenAI. | Sì | Sì, dagli intervalli IP |
| ClaudeBot | Anthropic | ClaudeBot |
Raccoglie contenuti dal web che possono contribuire all'addestramento dei modelli Claude di Anthropic. Supporta anche Crawl-delay. | Sì | Sì, dagli intervalli IP |
| CCBot | Common Crawl | CCBot |
Costruisce l'archivio libero e aperto del web di Common Crawl, che chiunque può scaricare, compresi gli sviluppatori di IA. | Sì | Sì, da intervalli IP e DNS inverso |
| meta-externalagent | Meta | meta-externalagent |
Scansiona il web per usi come l'addestramento dei modelli di IA di base di Meta o il miglioramento dei suoi prodotti tramite l'indicizzazione. | Sì | No, solo dallo user agent |
| Amazonbot | Amazon | Amazonbot |
Migliora i prodotti e i servizi di Amazon; i contenuti possono servire ad addestrare i modelli di IA di Amazon. | Sì | Sì, dagli intervalli IP |
| Bytespider | ByteDance | Bytespider |
ByteDance, la società madre di TikTok, non ha pubblicato documentazione; gli elenchi della comunità lo indicano come un crawler che raccoglie dati per addestrare l'IA. | Non documentato | No, solo dallo user agent |
| Timpibot | Timpi | Timpibot |
Timpi non ha pubblicato documentazione che siamo riusciti a leggere; gli elenchi della comunità dicono che raccoglie dati per addestrare modelli di IA. | Non documentato | No, solo dallo user agent |
| FacebookBot | Meta | FacebookBot |
Un vecchio token di crawler di Meta che la documentazione attuale di Meta non elenca più; gli elenchi della comunità lo includono ancora per l'addestramento dell'IA. | Non documentato | No, solo dallo user agent |
Richieste di assistenti IA
| Bot | Operatore | Nome in robots.txt | Cosa fa | Rispetta robots.txt | Si può verificare? |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
Visita una pagina quando qualcuno ne chiede a ChatGPT o a un GPT personalizzato. Non scansiona il web in automatico. | In parte | Sì, dagli intervalli IP |
| Perplexity-User | Perplexity | Perplexity-User |
Visita una pagina quando qualcuno fa a Perplexity una domanda che la richiede. Non serve a scansionare il web né ad addestrare modelli di IA. | In genere no | Sì, dagli intervalli IP |
| Claude-User | Anthropic | Claude-User |
Visita una pagina quando un utente di Claude fa una domanda che la richiede. | Sì | Sì, dagli intervalli IP |
| meta-externalfetcher | Meta | meta-externalfetcher |
Scarica singoli link su richiesta di un utente, per esempio per le funzioni di assistente IA di Meta. | In parte | No, solo dallo user agent |
| Amzn-User | Amazon | Amzn-User |
Scarica pagine per azioni degli utenti, come rispondere a una domanda ad Alexa che richiede informazioni aggiornate. Secondo Amazon non raccoglie contenuti per addestrare l'IA. | In parte | Sì, dagli intervalli IP |
| cohere-ai | Cohere | cohere-ai |
Cohere non ha pubblicato documentazione che siamo riusciti a leggere; gli elenchi della comunità dicono che scarica pagine per rispondere alle richieste degli utenti. | Non documentato | No, solo dallo user agent |
Crawler SEO
| Bot | Operatore | Nome in robots.txt | Cosa fa | Rispetta robots.txt | Si può verificare? |
|---|---|---|---|---|---|
| AhrefsBot | Ahrefs | AhrefsBot, AhrefsSiteAudit |
Scansiona il web per il database di link e SEO di Ahrefs. AhrefsSiteAudit analizza i siti su richiesta dei proprietari. | Sì | Sì, da intervalli IP e DNS inverso |
| SemrushBot | Semrush | SemrushBot |
Scansiona il web per gli strumenti SEO e di marketing di Semrush. Semrush dice di non usare blocchi di IP fissi. | Sì | No, solo dallo user agent |
| DotBot | Moz | dotbot |
Scansiona il web per il Moz Link Index, la base di Link Explorer e delle API di Moz. | Sì | No, solo dallo user agent |
| MJ12bot | Majestic | MJ12bot |
Scansiona il web per l'indice di link di Majestic. Gira sui computer di volontari, quindi i suoi indirizzi sono sparsi in tutto il mondo. | Sì | No, solo dallo user agent |
Altro
| Bot | Operatore | Nome in robots.txt | Cosa fa | Rispetta robots.txt | Si può verificare? |
|---|---|---|---|---|---|
| Google special-case crawlers | – | Crawler di Google per prodotti specifici, come il controllo delle pagine di destinazione degli annunci, che lavorano in base a un accordo con il sito. | In parte | Sì, da intervalli IP e DNS inverso | |
| Google user-triggered fetchers | – | Scaricano una pagina perché una persona l'ha chiesto a un prodotto Google, per esempio un lettore di feed o una verifica del sito. | In genere no | Sì, da intervalli IP e DNS inverso | |
| facebookexternalhit | Meta | facebookexternalhit |
Scarica le pagine condivise su Facebook, Instagram o Messenger per mostrarne titolo, descrizione e immagine in anteprima. | In parte | No, solo dallo user agent |
| Diffbot | Diffbot | Diffbot |
Diffbot non ha pubblicato documentazione sul crawler che siamo riusciti a leggere; gli elenchi della comunità dicono che estrae dati dal web per i suoi clienti. | Non documentato | No, solo dallo user agent |
| omgili | Webz.io | omgili |
La pagina sul crawler di Webz.io ha rifiutato la nostra richiesta, quindi non abbiamo potuto leggerla; gli elenchi della comunità dicono che raccoglie dati web che Webz.io vende. | Non documentato | No, solo dallo user agent |
Come leggere questo elenco
“Rispetta robots.txt” è quello che l'operatore dice nella sua documentazione, non qualcosa che abbiamo misurato. Alcuni bot scaricano una pagina perché una persona l'ha chiesta, e i loro operatori dicono che in quel caso robots.txt può non valere.
“Si può verificare?” dice se l'operatore pubblica gli indirizzi che il suo bot usa. Se lo fa, il nostro strumento di verifica distingue una visita vera da una falsa. Se no, l'unico segnale è lo user agent, che chiunque può copiare.
I bot segnati come “Non documentato” sono quelli i cui operatori non pubblicano nulla che abbiamo potuto leggere; il loro nome di user agent viene da elenchi della comunità. Tutte le fonti sono nella pagina delle fonti dati.