Diretório de bots e IA · Treinamento de IA
CCBot: o que é, como verificar e como bloquear
O CCBot é operado pela Common Crawl. Monta o arquivo livre e aberto da web do Common Crawl, que qualquer pessoa pode baixar, inclusive desenvolvedores de IA.
Dados principais
| Operador | Common Crawl |
|---|---|
| Categoria | Treinamento de IA |
| Nome no robots.txt | CCBot |
| Segue o robots.txt | OK: Sim |
| Dá para verificar? | OK: Sim, por faixas de IP e DNS reverso |
| Documentação oficial | |
| Registro verificado | 11 de nov. de 2026 |
User agent
O nome dele no robots.txt é CCBot.
A Common Crawl documenta esta string de user agent:
CCBot/2.0 (https://commoncrawl.org/faq/)
Dá para verificar o CCBot?
Sim A Common Crawl publica os endereços IP que o CCBot usa. Baixamos essa lista a cada 6 horas: nossa cópia é de 15 de nov. de 2026 e tem 5 entradas; a Common Crawl a datou de 11 de ago. de 2026.
Os endereços dele também têm nomes de DNS reverso em crawl.commoncrawl.org; um nome só vale se apontar de volta para o mesmo endereço.
O CCBot segue o robots.txt?
Sim A Common Crawl diz que o CCBot segue o robots.txt.
“To prevent Common Crawl from crawling your website, include the following in your robots.txt”
Como bloquear ou permitir o CCBot
Para pedir que ele fique fora do site inteiro, adicione isto ao robots.txt:
User-agent: CCBot
Disallow: /
Para mantê-lo fora de uma única pasta:
User-agent: CCBot
Disallow: /private/
Para permiti-lo e pedir a todos os outros bots que fiquem fora:
User-agent: CCBot
Allow: /
User-agent: *
Disallow: /
O robots.txt é um pedido, não uma tranca. Para impor um bloqueio, adicione uma regra de firewall ou de CDN. Como a Common Crawl publica os endereços do CCBot, uma regra pode casar com eles exatamente, e um CCBot falso não passa pelo verdadeiro.
Para criar um único robots.txt para vários bots de uma vez, use o gerador de robots.txt.
Com que frequência o CCBot visita?
A Common Crawl não publica com que frequência o CCBot visita um site, e o iplover não vê o seu tráfego. O seu próprio log de acesso é a única contagem confiável: cole-o no verificador de logs, que conta as visitas de cada rastreador e aponta os falsos, no seu navegador.
Documentação oficial
Registro verificado em 11 de nov. de 2026. As listas de endereços são baixadas a cada 6 horas.