Controlla la mia connessione

Guide · Indagare su un IP

Come bloccare i crawler IA (GPTBot, ClaudeBot, PerplexityBot e altri): intervalli IP e robots.txt

I log del tuo server si riempiono di GPTBot, ClaudeBot e meta-externalagent e vuoi decidere tu cosa succede ai tuoi contenuti. Questa pagina copre i principali crawler IA, quelli del nostro registro dei bot, come li documenta ogni operatore, con regole pronte da copiare per robots.txt, nginx, Apache e Cloudflare. Nascono nuovi bot di continuo, quindi nessun elenco è completo: le tabelle crescono con il registro, gli stessi dati di Verifica un bot e del generatore di robots.txt.

Due date in questa pagina: «Ultimo aggiornamento», in alto, indica quando abbiamo rivisto l'articolo l'ultima volta. «Registro controllato», sotto ogni tabella, indica quando abbiamo confrontato l'ultima volta ogni bot del registro con la documentazione del suo operatore. Gli elenchi IP ufficiali dietro le tabelle vengono scaricati di nuovo ogni 6 ore.

Tre tipi di bot IA, tre decisioni diverse

«Bloccare l'IA» può voler dire tre cose, e ognuna corrisponde a un bot diverso con il proprio token in robots.txt:

Prima decidi cosa vuoi

Cosa bloccare per ogni obiettivo
Se vuoi…BloccaLascia passare
Tenere i tuoi contenuti fuori dall'addestramento dell'IA, ma restare nelle risposte della ricerca IAIl gruppo dell'addestramentoI crawler della ricerca IA, Googlebot, Applebot
Uscire anche dalle risposte e dalle citazioni dell'IAI gruppi dell'addestramento e della ricerca IAGooglebot, Bingbot, Applebot
Impedire agli assistenti di leggere una pagina su richiesta di un utenteIl gruppo dei fetcher attivati dall'utente, sul server o sul firewallTutto il resto
Mantenere il posizionamento nella ricerca di Google e AppleMai Googlebot o Applebot: usa invece Google-Extended e Applebot-ExtendedGooglebot, Applebot

I crawler IA, bot per bot

Per ogni bot: l'operatore, il token da usare in robots.txt, se l'operatore dice che rispetta robots.txt, se si può provare che una richiesta viene davvero da lui e le fonti ufficiali, cioè l'elenco IP quando esiste e la documentazione dell'operatore. Ogni nome porta alla pagina del bot nel nostro elenco, con le stringhe user agent complete e i dettagli della verifica.

Crawler per l'addestramento

Crawler per l'addestramento dell'IA e controlli per l'addestramento. Registro controllato il 11 novembre 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.
BotOperatoreNome in robots.txtRispetta robots.txtSi può verificare?Fonti
Google-Extended Google
Google-Extended
Un controllo di robots.txt Non è un crawler
Documentazione dell'operatore: developers.google.com
Applebot-Extended Apple
Applebot-Extended
Un controllo di robots.txt Non è un crawler
Documentazione dell'operatore: support.apple.com
GPTBot OpenAI
GPTBot
Sì Sì, dagli intervalli IP
Elenco IP ufficiale: openai.com/gptbot.jsonDocumentazione dell'operatore: developers.openai.com
ClaudeBot Anthropic
ClaudeBot
Sì Sì, dagli intervalli IP
Elenco IP ufficiale: claude.com/crawling/bots.jsonDocumentazione dell'operatore: support.claude.com
CCBot Common Crawl
CCBot
Sì Sì, da intervalli IP e DNS inverso
Elenco IP ufficiale: index.commoncrawl.org/ccbot.jsonDocumentazione dell'operatore: commoncrawl.org
meta-externalagent Meta
meta-externalagent
Sì No, solo dallo user agent
Documentazione dell'operatore: developers.facebook.com
Amazonbot Amazon
Amazonbot
Sì Sì, dagli intervalli IP
Elenco IP ufficiale: developer.amazon.com/amazonbot/ip-addresses/Documentazione dell'operatore: developer.amazon.com
Bytespider ByteDance
Bytespider
Non documentato No, solo dallo user agent
–
Timpibot Timpi
Timpibot
Non documentato No, solo dallo user agent
–
FacebookBot Meta
FacebookBot
Non documentato No, solo dallo user agent
–

Due righe sono token, non crawler. Google scrive Google-Extended doesn't have a separate HTTP request user agent string. (fonte), e Apple Applebot-Extended does not crawl webpages. (fonte) Sono Googlebot e Applebot a scaricare le pagine; il token decide solo se il risultato può essere usato per l'IA. Apple aggiunge Webpages that disallow Applebot-Extended can still be included in search results. (fonte)

Bytespider, Timpibot e FacebookBot non hanno una documentazione pubblica che abbiamo potuto leggere: non c'è una promessa su robots.txt su cui contare né un elenco IP con cui verificarli. Se ti interessano, bloccali sul server.

Crawler della ricerca IA

Crawler di ricerca IA. Registro controllato il 11 novembre 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.
BotOperatoreNome in robots.txtRispetta robots.txtSi può verificare?Fonti
OAI-SearchBot OpenAI
OAI-SearchBot
Sì Sì, dagli intervalli IP
Elenco IP ufficiale: openai.com/searchbot.jsonDocumentazione dell'operatore: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Sì Sì, dagli intervalli IP
Elenco IP ufficiale: perplexity.ai/perplexitybot.jsonDocumentazione dell'operatore: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Sì Sì, dagli intervalli IP
Elenco IP ufficiale: claude.com/crawling/bots.jsonDocumentazione dell'operatore: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Sì Sì, dagli intervalli IP
Elenco IP ufficiale: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentazione dell'operatore: developer.amazon.com
meta-webindexer Meta
meta-webindexer
Sì No, solo dallo user agent
Documentazione dell'operatore: developers.facebook.com

OpenAI dice chiaramente che le due esclusioni sono separate: a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot (fonte). Aggiunge che, se li ammetti entrambi, we may use the results from just one crawl for both use cases (fonte).

Fetcher attivati dall'utente

Fetcher che agiscono su richiesta di un utente. Registro controllato il 11 novembre 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.
BotOperatoreNome in robots.txtRispetta robots.txtSi può verificare?Fonti
ChatGPT-User OpenAI
ChatGPT-User
In parte Sì, dagli intervalli IP
Elenco IP ufficiale: openai.com/chatgpt-user.jsonDocumentazione dell'operatore: developers.openai.com
Perplexity-User Perplexity
Perplexity-User
In genere no Sì, dagli intervalli IP
Elenco IP ufficiale: perplexity.ai/perplexity-user.jsonDocumentazione dell'operatore: docs.perplexity.ai
Claude-User Anthropic
Claude-User
Sì Sì, dagli intervalli IP
Elenco IP ufficiale: claude.com/crawling/bots.jsonDocumentazione dell'operatore: support.claude.com
meta-externalfetcher Meta
meta-externalfetcher
In parte No, solo dallo user agent
Documentazione dell'operatore: developers.facebook.com
Amzn-User Amazon
Amzn-User
In parte Sì, dagli intervalli IP
Elenco IP ufficiale: developer.amazon.com/amazonbot/live-ip-addresses/Documentazione dell'operatore: developer.amazon.com
cohere-ai Cohere
cohere-ai
Non documentato No, solo dallo user agent
–

Qui leggi con attenzione la colonna su robots.txt. Per ChatGPT-User OpenAI scrive Because these actions are initiated by a user, robots.txt rules may not apply. (fonte) Perplexity dice che il suo fetcher generally ignores robots.txt rules (fonte), e Meta che il suo may bypass robots.txt rules (fonte). Se vuoi tenerli fuori, robots.txt da solo non basta.

robots.txt pronto da copiare

robots.txt sta nella radice di ogni host: https://example.com/robots.txt vale solo per example.com, quindi www, shop e ogni altro sottodominio hanno bisogno della propria copia. Più righe User-agent possono condividere una stessa regola, come consente la RFC 9309. Copia i gruppi che corrispondono alla tua scelta.

Crawler per l'addestramento e controlli per l'addestramento IA:

# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /

Crawler della ricerca IA (solo se vuoi uscire anche dalle risposte dell'IA):

# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /

Fetcher attivati dall'utente (una richiesta cortese; sopra trovi perché potrebbe essere ignorata):

# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /

Ogni blocco esclude tutto il sito. Per lasciare aperta una sezione, aggiungi nello stesso gruppo una riga Allow: con il suo percorso. Secondo la RFC 9309 vince la regola più specifica (la più lunga), quindi Allow: /blog/ prevale su Disallow: / per le pagine sotto /blog/.

robots.txt è una richiesta, non un lucchetto

robots.txt funziona perché i crawler corretti scelgono di leggerlo e rispettarlo. Non ferma uno scraper che lo ignora, e uno scraper che si presenta con lo user agent di un browser non corrisponde mai alle tue righe User-agent. Considera robots.txt la dichiarazione delle tue volontà, che i crawler documentati rispettano, e fallo valere dove conta.

Fallo rispettare sul server o sul firewall

Una regola sullo user agent rifiuta ogni richiesta il cui user agent contiene uno dei token. Ferma i bot onesti dalla richiesta successiva, e anche i falsi meno curati. Le regole qui sotto usano gli stessi tre gruppi dei blocchi robots.txt, quindi applicano la stessa scelta:

Ogni regola lascia leggibile /robots.txt, così i crawler vedono comunque la tua esclusione.

nginx

Il primo map imposta $ai_bot a 1 quando lo user agent contiene un token di un gruppo attivo (~* indica un confronto che non distingue maiuscole e minuscole). Il secondo map riporta quel valore per ogni percorso tranne /robots.txt. L'if risponde poi 403 a quelle richieste. Per attivare un altro gruppo, togli il # davanti alla sua riga.

# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
    default 0;
    # Training crawlers (the first robots.txt block)
    "~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
    # User-triggered fetchers: uncomment to refuse them too
    # "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
    # AI search crawlers: uncomment only if you also leave AI answers
    # "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
    default $ai_bot;
    /robots.txt 0;
}

# In each server { } block that should refuse them:
if ($block_ai) { return 403; }

Apache

Ogni riga SetEnvIfNoCase marca le richieste di un gruppo; togli il commento a una riga per aggiungere il suo gruppo. La riga SetEnvIf toglie il marchio per /robots.txt, e Require not env rifiuta le richieste marcate con un 403. In .htaccess serve AllowOverride FileInfo AuthConfig (o All).

# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
    Require all granted
    Require not env block_ai
</RequireAll>

Cloudflare

Crea una regola personalizzata WAF per ogni gruppo che hai bloccato in robots.txt, con l'azione Block. Ogni espressione corrisponde ai token di quel gruppo, più i bot che Cloudflare ha verificato da sé nella categoria di bot verificati corrispondente, e lascia stare /robots.txt.

Regola 1, crawler per l'addestramento (il primo blocco robots.txt). Categoria Cloudflare: AI Crawler.

(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
 or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"

Regola 2, facoltativa, fetcher attivati dall'utente. Categoria Cloudflare: AI Assistant.

(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
 or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"

Regola 3, facoltativa, crawler della ricerca IA: solo se vuoi uscire anche dalle risposte dell'IA. Categoria Cloudflare: AI Search, che Cloudflare mantiene per le regole esistenti ma che nella sua classificazione più recente non distingue più dalla ricerca normale, quindi qui fanno quasi tutto i token.

(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
 or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"

È Cloudflare a decidere quali bot verificati rientrano in ogni categoria, e una categoria può includere bot che non sono nelle nostre tabelle. Se vuoi che una regola corrisponda solo ai token elencati, elimina la sua riga cf.verified_bot_category.

Cloudflare ha anche un'impostazione nella dashboard, ora chiamata AI Crawler and Agent access policies (fonte), in Security, Settings. Ordina i bot per comportamento, e i suoi tre comportamenti corrispondono ai gruppi di questa pagina: Training ai crawler per l'addestramento, Search ai crawler della ricerca IA, Agent ai fetcher attivati dall'utente. Si applica ai bot verificati e ai bot non verificati che corrispondono.

Bloccare o ammettere per intervallo IP

Gli user agent si possono falsificare; l'indirizzo di una richiesta completata no. Quando un operatore pubblica gli indirizzi dei suoi crawler, le tabelle linkano l'elenco ufficiale. Puoi usarli in due modi: ammettere un crawler solo dai suoi intervalli, così un falso GPTBot da altrove non ottiene nulla, oppure bloccare del tutto quegli intervalli.

Non incollare gli intervalli nella configurazione una volta per tutte: gli operatori li cambiano. Scarica gli elenchi a intervalli regolari, come facciamo noi: le nostre copie si aggiornano ogni 6 ore, e la pagina delle fonti mostra quando è stata aggiornata ognuna. Per l'automazione, la nostra API risponde alla stessa domanda indirizzo per indirizzo.

Controlla se un bot è vero

Incolla un indirizzo dai tuoi log, e lo user agent se ce l'hai, in Verifica un bot. Confronta l'indirizzo con gli elenchi ufficiali e, per gli operatori che lo permettono, con il DNS inverso confermato, poi ti dice se la richiesta viene davvero dal bot che dichiara di essere. Lo stesso metodo a mano, per Google, è nella nostra guida su come verificare un IP di Googlebot.

Domande e risposte

Bloccare GPTBot toglie il mio sito dalla ricerca di ChatGPT?

No. OpenAI usa OAI-SearchBot per la ricerca e GPTBot per l'addestramento, e scrive Each setting is independent of the others. (fonte) Per uscire dalle risposte della ricerca di ChatGPT devi escludere anche OAI-SearchBot.

Bloccare Google-Extended penalizza il mio posizionamento su Google?

Google scrive Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search. (fonte) Apple dice lo stesso del proprio token: Site rules for Applebot-Extended are not considered in ranking for Search. (fonte)

I crawler IA rispettano robots.txt?

I crawler documentati nelle tabelle dicono di sì. I fetcher che agiscono per conto di un utente sono diversi: per ChatGPT-User OpenAI scrive che robots.txt rules may not apply (fonte), e Perplexity che il suo fetcher generally ignores robots.txt rules (fonte). I bot senza documentazione pubblica, come Bytespider, non hanno promesso nulla.

Quanto ci vuole perché una modifica a robots.txt abbia effetto?

OpenAI scrive it can take ~24 hours from a site's robots.txt update for our systems to adjust. (fonte) Gli altri operatori nelle tabelle non indicano tempi. Una regola sul server o sul firewall vale dalla richiesta successiva.

Fonti

Documenti ufficiali usati per verificare i fatti di questa guida.