Controlla la mia connessione

Elenco di bot e IA · Addestramento IA

CCBot: cos'è, come verificarlo e come bloccarlo

CCBot è gestito da Common Crawl. Costruisce l'archivio libero e aperto del web di Common Crawl, che chiunque può scaricare, compresi gli sviluppatori di IA.

Dati principali

Dati principali
Operatore
Common Crawl
Categoria
Addestramento IA
Nome in robots.txt
CCBot
Rispetta robots.txt
OK: Sì
Si può verificare?
OK: Sì, da intervalli IP e DNS inverso
Documentazione ufficiale
Registro controllato
11 nov 2026

User agent

Il suo nome in robots.txt è CCBot.

Common Crawl documenta questo user agent:

CCBot/2.0 (https://commoncrawl.org/faq/)

Si può verificare CCBot?

Sì Common Crawl pubblica gli indirizzi IP usati da CCBot. Scarichiamo quell'elenco ogni 6 ore: la nostra copia è del 15 nov 2026 e ha 5 voci; Common Crawl l'ha datato 11 ago 2026.

I suoi indirizzi hanno anche nomi DNS inversi in crawl.commoncrawl.org; un nome vale solo se rimanda allo stesso indirizzo.

Controlla un indirizzo dei tuoi log

CCBot rispetta robots.txt?

Sì Common Crawl dice che CCBot rispetta robots.txt.

“To prevent Common Crawl from crawling your website, include the following in your robots.txt”

Come bloccare o consentire CCBot

Per chiedergli di stare lontano da tutto il sito, aggiungi questo a robots.txt:

User-agent: CCBot
Disallow: /

Per tenerlo fuori da una sola cartella:

User-agent: CCBot
Disallow: /private/

Per consentirlo chiedendo a tutti gli altri bot di stare lontani:

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /

robots.txt è una richiesta, non un lucchetto. Per imporre il blocco aggiungi una regola nel firewall o nella CDN. Poiché Common Crawl pubblica gli indirizzi di CCBot, la regola può individuarli esattamente, così un falso CCBot non passa per quello vero.

Per creare un unico robots.txt per più bot, usa il generatore di robots.txt.

Quanto spesso passa CCBot?

Common Crawl non pubblica con che frequenza CCBot visita un sito, e iplover non vede il tuo traffico. Il tuo log di accesso è l'unico conteggio affidabile: incollalo nella verifica log, che conta le visite di ogni crawler e segnala quelli falsi, nel tuo browser.

Documentazione ufficiale

commoncrawl.org/ccbot

Registro controllato il 11 nov 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.