Come bloccare i crawler IA (GPTBot, ClaudeBot, PerplexityBot e altri): intervalli IP e robots.txt
I log del tuo server si riempiono di GPTBot, ClaudeBot e meta-externalagent e vuoi decidere tu cosa succede ai tuoi contenuti. Questa pagina copre i principali crawler IA, quelli del nostro registro dei bot, come li documenta ogni operatore, con regole pronte da copiare per robots.txt, nginx, Apache e Cloudflare. Nascono nuovi bot di continuo, quindi nessun elenco è completo: le tabelle crescono con il registro, gli stessi dati di Verifica un bot e del generatore di robots.txt.
Due date in questa pagina: «Ultimo aggiornamento», in alto, indica quando abbiamo rivisto l'articolo l'ultima volta. «Registro controllato», sotto ogni tabella, indica quando abbiamo confrontato l'ultima volta ogni bot del registro con la documentazione del suo operatore. Gli elenchi IP ufficiali dietro le tabelle vengono scaricati di nuovo ogni 6 ore.
Tre tipi di bot IA, tre decisioni diverse
«Bloccare l'IA» può voler dire tre cose, e ognuna corrisponde a un bot diverso con il proprio token in robots.txt:
- Crawler per l'addestramento: raccolgono pagine che possono servire ad addestrare modelli IA, come GPTBot, ClaudeBot e CCBot. Google e Apple usano i loro normali crawler di ricerca e ti danno un token separato,
Google-ExtendedeApplebot-Extended, che controlla solo l'uso per l'IA di ciò che raccolgono. - Crawler della ricerca IA: indicizzano le pagine perché un motore di risposte possa citarle e linkarle, come OAI-SearchBot per la ricerca di ChatGPT, PerplexityBot e Claude-SearchBot. Bloccarli ti tiene fuori dall'addestramento e anche dalle loro risposte, link compresi.
- Fetcher attivati dall'utente: caricano una pagina perché una persona ha chiesto a un assistente di leggerla, per esempio ChatGPT-User o Perplexity-User. Diversi operatori dicono che robots.txt potrebbe non valere per questi.
Prima decidi cosa vuoi
| Se vuoi… | Blocca | Lascia passare |
|---|---|---|
| Tenere i tuoi contenuti fuori dall'addestramento dell'IA, ma restare nelle risposte della ricerca IA | Il gruppo dell'addestramento | I crawler della ricerca IA, Googlebot, Applebot |
| Uscire anche dalle risposte e dalle citazioni dell'IA | I gruppi dell'addestramento e della ricerca IA | Googlebot, Bingbot, Applebot |
| Impedire agli assistenti di leggere una pagina su richiesta di un utente | Il gruppo dei fetcher attivati dall'utente, sul server o sul firewall | Tutto il resto |
| Mantenere il posizionamento nella ricerca di Google e Apple | Mai Googlebot o Applebot: usa invece Google-Extended e Applebot-Extended | Googlebot, Applebot |
I crawler IA, bot per bot
Per ogni bot: l'operatore, il token da usare in robots.txt, se l'operatore dice che rispetta robots.txt, se si può provare che una richiesta viene davvero da lui e le fonti ufficiali, cioè l'elenco IP quando esiste e la documentazione dell'operatore. Ogni nome porta alla pagina del bot nel nostro elenco, con le stringhe user agent complete e i dettagli della verifica.
Crawler per l'addestramento
| Bot | Operatore | Nome in robots.txt | Rispetta robots.txt | Si può verificare? | Fonti |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Un controllo di robots.txt | Non è un crawler | Documentazione dell'operatore: developers.google.com |
|
| Applebot-Extended | Apple | Applebot-Extended |
Un controllo di robots.txt | Non è un crawler | Documentazione dell'operatore: support.apple.com |
| GPTBot | OpenAI | GPTBot |
Sì | Sì, dagli intervalli IP | Elenco IP ufficiale: openai.com/gptbot.jsonDocumentazione dell'operatore: developers.openai.com |
| ClaudeBot | Anthropic | ClaudeBot |
Sì | Sì, dagli intervalli IP | Elenco IP ufficiale: claude.com/crawling/bots.jsonDocumentazione dell'operatore: support.claude.com |
| CCBot | Common Crawl | CCBot |
Sì | Sì, da intervalli IP e DNS inverso | Elenco IP ufficiale: index.commoncrawl.org/ccbot.jsonDocumentazione dell'operatore: commoncrawl.org |
| meta-externalagent | Meta | meta-externalagent |
Sì | No, solo dallo user agent | Documentazione dell'operatore: developers.facebook.com |
| Amazonbot | Amazon | Amazonbot |
Sì | Sì, dagli intervalli IP | Elenco IP ufficiale: developer.amazon.com/amazonbot/ip-addresses/Documentazione dell'operatore: developer.amazon.com |
| Bytespider | ByteDance | Bytespider |
Non documentato | No, solo dallo user agent | – |
| Timpibot | Timpi | Timpibot |
Non documentato | No, solo dallo user agent | – |
| FacebookBot | Meta | FacebookBot |
Non documentato | No, solo dallo user agent | – |
Due righe sono token, non crawler. Google scrive Google-Extended doesn't have a separate HTTP request user agent string.
(fonte), e Apple Applebot-Extended does not crawl webpages.
(fonte) Sono Googlebot e Applebot a scaricare le pagine; il token decide solo se il risultato può essere usato per l'IA. Apple aggiunge Webpages that disallow Applebot-Extended can still be included in search results.
(fonte)
Bytespider, Timpibot e FacebookBot non hanno una documentazione pubblica che abbiamo potuto leggere: non c'è una promessa su robots.txt su cui contare né un elenco IP con cui verificarli. Se ti interessano, bloccali sul server.
Crawler della ricerca IA
| Bot | Operatore | Nome in robots.txt | Rispetta robots.txt | Si può verificare? | Fonti |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Sì | Sì, dagli intervalli IP | Elenco IP ufficiale: openai.com/searchbot.jsonDocumentazione dell'operatore: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Sì | Sì, dagli intervalli IP | Elenco IP ufficiale: perplexity.ai/perplexitybot.jsonDocumentazione dell'operatore: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Sì | Sì, dagli intervalli IP | Elenco IP ufficiale: claude.com/crawling/bots.jsonDocumentazione dell'operatore: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Sì | Sì, dagli intervalli IP | Elenco IP ufficiale: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentazione dell'operatore: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
Sì | No, solo dallo user agent | Documentazione dell'operatore: developers.facebook.com |
OpenAI dice chiaramente che le due esclusioni sono separate: a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot
(fonte). Aggiunge che, se li ammetti entrambi, we may use the results from just one crawl for both use cases
(fonte).
Fetcher attivati dall'utente
| Bot | Operatore | Nome in robots.txt | Rispetta robots.txt | Si può verificare? | Fonti |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
In parte | Sì, dagli intervalli IP | Elenco IP ufficiale: openai.com/chatgpt-user.jsonDocumentazione dell'operatore: developers.openai.com |
| Perplexity-User | Perplexity | Perplexity-User |
In genere no | Sì, dagli intervalli IP | Elenco IP ufficiale: perplexity.ai/perplexity-user.jsonDocumentazione dell'operatore: docs.perplexity.ai |
| Claude-User | Anthropic | Claude-User |
Sì | Sì, dagli intervalli IP | Elenco IP ufficiale: claude.com/crawling/bots.jsonDocumentazione dell'operatore: support.claude.com |
| meta-externalfetcher | Meta | meta-externalfetcher |
In parte | No, solo dallo user agent | Documentazione dell'operatore: developers.facebook.com |
| Amzn-User | Amazon | Amzn-User |
In parte | Sì, dagli intervalli IP | Elenco IP ufficiale: developer.amazon.com/amazonbot/live-ip-addresses/Documentazione dell'operatore: developer.amazon.com |
| cohere-ai | Cohere | cohere-ai |
Non documentato | No, solo dallo user agent | – |
Qui leggi con attenzione la colonna su robots.txt. Per ChatGPT-User OpenAI scrive Because these actions are initiated by a user, robots.txt rules may not apply.
(fonte) Perplexity dice che il suo fetcher generally ignores robots.txt rules
(fonte), e Meta che il suo may bypass robots.txt rules
(fonte). Se vuoi tenerli fuori, robots.txt da solo non basta.
robots.txt pronto da copiare
robots.txt sta nella radice di ogni host: https://example.com/robots.txt vale solo per example.com, quindi www, shop e ogni altro sottodominio hanno bisogno della propria copia. Più righe User-agent possono condividere una stessa regola, come consente la RFC 9309. Copia i gruppi che corrispondono alla tua scelta.
Crawler per l'addestramento e controlli per l'addestramento IA:
# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /
Crawler della ricerca IA (solo se vuoi uscire anche dalle risposte dell'IA):
# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /
Fetcher attivati dall'utente (una richiesta cortese; sopra trovi perché potrebbe essere ignorata):
# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /
Ogni blocco esclude tutto il sito. Per lasciare aperta una sezione, aggiungi nello stesso gruppo una riga Allow: con il suo percorso. Secondo la RFC 9309 vince la regola più specifica (la più lunga), quindi Allow: /blog/ prevale su Disallow: / per le pagine sotto /blog/.
robots.txt è una richiesta, non un lucchetto
robots.txt funziona perché i crawler corretti scelgono di leggerlo e rispettarlo. Non ferma uno scraper che lo ignora, e uno scraper che si presenta con lo user agent di un browser non corrisponde mai alle tue righe User-agent. Considera robots.txt la dichiarazione delle tue volontà, che i crawler documentati rispettano, e fallo valere dove conta.
Fallo rispettare sul server o sul firewall
Una regola sullo user agent rifiuta ogni richiesta il cui user agent contiene uno dei token. Ferma i bot onesti dalla richiesta successiva, e anche i falsi meno curati. Le regole qui sotto usano gli stessi tre gruppi dei blocchi robots.txt, quindi applicano la stessa scelta:
- I crawler per l'addestramento sono bloccati così come sono scritte. Google-Extended e Applebot-Extended non compaiono: non arrivano mai in una richiesta, e il blocco robots.txt li copre già.
- I fetcher attivati dall'utente e i crawler della ricerca IA sono pronti ma disattivati. Attiva un gruppo solo se l'hai bloccato anche in robots.txt, o intendevi farlo: bloccare i crawler della ricerca IA ti toglie dalle risposte dell'IA.
Ogni regola lascia leggibile /robots.txt, così i crawler vedono comunque la tua esclusione.
nginx
Il primo map imposta $ai_bot a 1 quando lo user agent contiene un token di un gruppo attivo (~* indica un confronto che non distingue maiuscole e minuscole). Il secondo map riporta quel valore per ogni percorso tranne /robots.txt. L'if risponde poi 403 a quelle richieste. Per attivare un altro gruppo, togli il # davanti alla sua riga.
# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
default 0;
# Training crawlers (the first robots.txt block)
"~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
# User-triggered fetchers: uncomment to refuse them too
# "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
# AI search crawlers: uncomment only if you also leave AI answers
# "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
default $ai_bot;
/robots.txt 0;
}
# In each server { } block that should refuse them:
if ($block_ai) { return 403; }
Apache
Ogni riga SetEnvIfNoCase marca le richieste di un gruppo; togli il commento a una riga per aggiungere il suo gruppo. La riga SetEnvIf toglie il marchio per /robots.txt, e Require not env rifiuta le richieste marcate con un 403. In .htaccess serve AllowOverride FileInfo AuthConfig (o All).
# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
Require all granted
Require not env block_ai
</RequireAll>
Cloudflare
Crea una regola personalizzata WAF per ogni gruppo che hai bloccato in robots.txt, con l'azione Block. Ogni espressione corrisponde ai token di quel gruppo, più i bot che Cloudflare ha verificato da sé nella categoria di bot verificati corrispondente, e lascia stare /robots.txt.
Regola 1, crawler per l'addestramento (il primo blocco robots.txt). Categoria Cloudflare: AI Crawler.
(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"
Regola 2, facoltativa, fetcher attivati dall'utente. Categoria Cloudflare: AI Assistant.
(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"
Regola 3, facoltativa, crawler della ricerca IA: solo se vuoi uscire anche dalle risposte dell'IA. Categoria Cloudflare: AI Search, che Cloudflare mantiene per le regole esistenti ma che nella sua classificazione più recente non distingue più dalla ricerca normale, quindi qui fanno quasi tutto i token.
(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"
È Cloudflare a decidere quali bot verificati rientrano in ogni categoria, e una categoria può includere bot che non sono nelle nostre tabelle. Se vuoi che una regola corrisponda solo ai token elencati, elimina la sua riga cf.verified_bot_category.
Cloudflare ha anche un'impostazione nella dashboard, ora chiamata AI Crawler and Agent access policies
(fonte), in Security, Settings. Ordina i bot per comportamento, e i suoi tre comportamenti corrispondono ai gruppi di questa pagina: Training ai crawler per l'addestramento, Search ai crawler della ricerca IA, Agent ai fetcher attivati dall'utente. Si applica ai bot verificati e ai bot non verificati che corrispondono.
Bloccare o ammettere per intervallo IP
Gli user agent si possono falsificare; l'indirizzo di una richiesta completata no. Quando un operatore pubblica gli indirizzi dei suoi crawler, le tabelle linkano l'elenco ufficiale. Puoi usarli in due modi: ammettere un crawler solo dai suoi intervalli, così un falso GPTBot da altrove non ottiene nulla, oppure bloccare del tutto quegli intervalli.
Non incollare gli intervalli nella configurazione una volta per tutte: gli operatori li cambiano. Scarica gli elenchi a intervalli regolari, come facciamo noi: le nostre copie si aggiornano ogni 6 ore, e la pagina delle fonti mostra quando è stata aggiornata ognuna. Per l'automazione, la nostra API risponde alla stessa domanda indirizzo per indirizzo.
Controlla se un bot è vero
Incolla un indirizzo dai tuoi log, e lo user agent se ce l'hai, in Verifica un bot. Confronta l'indirizzo con gli elenchi ufficiali e, per gli operatori che lo permettono, con il DNS inverso confermato, poi ti dice se la richiesta viene davvero dal bot che dichiara di essere. Lo stesso metodo a mano, per Google, è nella nostra guida su come verificare un IP di Googlebot.
Cerchi un crawler in particolare? L'elenco di bot e IA riporta per ciascuno user agent, intervalli IP e nome in robots.txt. Per bloccare più bot di IA in una volta, usa il generatore di robots.txt.
Domande e risposte
Bloccare GPTBot toglie il mio sito dalla ricerca di ChatGPT?
No. OpenAI usa OAI-SearchBot per la ricerca e GPTBot per l'addestramento, e scrive Each setting is independent of the others.
(fonte) Per uscire dalle risposte della ricerca di ChatGPT devi escludere anche OAI-SearchBot.
Bloccare Google-Extended penalizza il mio posizionamento su Google?
Google scrive Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.
(fonte) Apple dice lo stesso del proprio token: Site rules for Applebot-Extended are not considered in ranking for Search.
(fonte)
I crawler IA rispettano robots.txt?
I crawler documentati nelle tabelle dicono di sì. I fetcher che agiscono per conto di un utente sono diversi: per ChatGPT-User OpenAI scrive che robots.txt rules may not apply
(fonte), e Perplexity che il suo fetcher generally ignores robots.txt rules
(fonte). I bot senza documentazione pubblica, come Bytespider, non hanno promesso nulla.
Quanto ci vuole perché una modifica a robots.txt abbia effetto?
OpenAI scrive it can take ~24 hours from a site's robots.txt update for our systems to adjust.
(fonte) Gli altri operatori nelle tabelle non indicano tempi. Una regola sul server o sul firewall vale dalla richiesta successiva.
Fonti
Documenti ufficiali usati per verificare i fatti di questa guida.
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google Search Central: Google's common crawlers (Google-Extended)
- Apple: About Applebot (Applebot-Extended)
- Meta: Meta web crawlers
- Amazon: Amazonbot
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_rewrite
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Verified bots and their categories
- Cloudflare: cf.verified_bot_category