Comprobar mi conexión

Directorio de bots e IA · Entrenamiento de IA

CCBot: qué es, cómo verificarlo y cómo bloquearlo

CCBot lo gestiona Common Crawl. Construye el archivo libre y abierto de la web de Common Crawl, que cualquiera puede descargar, también los desarrolladores de IA.

Datos clave

Datos clave
Operador
Common Crawl
Categoría
Entrenamiento de IA
Nombre en robots.txt
CCBot
Respeta robots.txt
OK: Sí
¿Se puede verificar?
OK: Sí, por rangos IP y DNS inverso
Documentación oficial
Registro revisado
11 nov 2026

User agent

Su nombre en robots.txt es CCBot.

Common Crawl documenta este user agent:

CCBot/2.0 (https://commoncrawl.org/faq/)

¿Se puede verificar CCBot?

Sí Common Crawl publica las direcciones IP que usa CCBot. Descargamos esa lista cada 6 horas: nuestra copia es del 15 nov 2026 y tiene 5 entradas; Common Crawl la fechó el 11 ago 2026.

Sus direcciones también tienen nombres de DNS inverso en crawl.commoncrawl.org; un nombre solo cuenta si apunta de vuelta a la misma dirección.

Comprobar una dirección de tus logs

¿Respeta CCBot robots.txt?

Sí Common Crawl dice que CCBot respeta robots.txt.

“To prevent Common Crawl from crawling your website, include the following in your robots.txt”

Cómo bloquear o permitir CCBot

Para pedirle que no entre en todo el sitio, añade esto a robots.txt:

User-agent: CCBot
Disallow: /

Para mantenerlo fuera de una sola carpeta:

User-agent: CCBot
Disallow: /private/

Para permitirlo y pedir a todos los demás bots que no entren:

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /

robots.txt es una petición, no un candado. Para imponer el bloqueo, añade una regla en el cortafuegos o en la CDN. Como Common Crawl publica las direcciones de CCBot, la regla puede ajustarse a ellas con exactitud, y así un CCBot falso no se cuela como el real.

Para crear un único robots.txt para varios bots a la vez, usa el generador de robots.txt.

¿Con qué frecuencia pasa CCBot?

Common Crawl no publica con qué frecuencia visita CCBot un sitio, e iplover no ve tu tráfico. Tu propio log de accesos es el único recuento fiable: pégalo en el revisor de logs, que cuenta las visitas de cada rastreador y marca los falsos, en tu navegador.

Documentación oficial

commoncrawl.org/ccbot

Registro revisado el 11 nov 2026. Las listas de direcciones se descargan cada 6 horas.