Verificar minha conexão

Diretório de bots e IA · Treinamento de IA

CCBot: o que é, como verificar e como bloquear

O CCBot é operado pela Common Crawl. Monta o arquivo livre e aberto da web do Common Crawl, que qualquer pessoa pode baixar, inclusive desenvolvedores de IA.

Dados principais

Dados principais
Operador
Common Crawl
Categoria
Treinamento de IA
Nome no robots.txt
CCBot
Segue o robots.txt
OK: Sim
Dá para verificar?
OK: Sim, por faixas de IP e DNS reverso
Documentação oficial
Registro verificado
11 de nov. de 2026

User agent

O nome dele no robots.txt é CCBot.

A Common Crawl documenta esta string de user agent:

CCBot/2.0 (https://commoncrawl.org/faq/)

Dá para verificar o CCBot?

Sim A Common Crawl publica os endereços IP que o CCBot usa. Baixamos essa lista a cada 6 horas: nossa cópia é de 15 de nov. de 2026 e tem 5 entradas; a Common Crawl a datou de 11 de ago. de 2026.

Os endereços dele também têm nomes de DNS reverso em crawl.commoncrawl.org; um nome só vale se apontar de volta para o mesmo endereço.

Verificar um endereço dos seus logs

O CCBot segue o robots.txt?

Sim A Common Crawl diz que o CCBot segue o robots.txt.

“To prevent Common Crawl from crawling your website, include the following in your robots.txt”

Como bloquear ou permitir o CCBot

Para pedir que ele fique fora do site inteiro, adicione isto ao robots.txt:

User-agent: CCBot
Disallow: /

Para mantê-lo fora de uma única pasta:

User-agent: CCBot
Disallow: /private/

Para permiti-lo e pedir a todos os outros bots que fiquem fora:

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /

O robots.txt é um pedido, não uma tranca. Para impor um bloqueio, adicione uma regra de firewall ou de CDN. Como a Common Crawl publica os endereços do CCBot, uma regra pode casar com eles exatamente, e um CCBot falso não passa pelo verdadeiro.

Para criar um único robots.txt para vários bots de uma vez, use o gerador de robots.txt.

Com que frequência o CCBot visita?

A Common Crawl não publica com que frequência o CCBot visita um site, e o iplover não vê o seu tráfego. O seu próprio log de acesso é a única contagem confiável: cole-o no verificador de logs, que conta as visitas de cada rastreador e aponta os falsos, no seu navegador.

Documentação oficial

commoncrawl.org/ccbot

Registro verificado em 11 de nov. de 2026. As listas de endereços são baixadas a cada 6 horas.