Directorio de bots e IA · Entrenamiento de IA
CCBot: qué es, cómo verificarlo y cómo bloquearlo
CCBot lo gestiona Common Crawl. Construye el archivo libre y abierto de la web de Common Crawl, que cualquiera puede descargar, también los desarrolladores de IA.
Datos clave
| Operador | Common Crawl |
|---|---|
| Categoría | Entrenamiento de IA |
| Nombre en robots.txt | CCBot |
| Respeta robots.txt | OK: Sí |
| ¿Se puede verificar? | OK: Sí, por rangos IP y DNS inverso |
| Documentación oficial | |
| Registro revisado | 11 nov 2026 |
User agent
Su nombre en robots.txt es CCBot.
Common Crawl documenta este user agent:
CCBot/2.0 (https://commoncrawl.org/faq/)
¿Se puede verificar CCBot?
Sí Common Crawl publica las direcciones IP que usa CCBot. Descargamos esa lista cada 6 horas: nuestra copia es del 15 nov 2026 y tiene 5 entradas; Common Crawl la fechó el 11 ago 2026.
Sus direcciones también tienen nombres de DNS inverso en crawl.commoncrawl.org; un nombre solo cuenta si apunta de vuelta a la misma dirección.
¿Respeta CCBot robots.txt?
Sí Common Crawl dice que CCBot respeta robots.txt.
“To prevent Common Crawl from crawling your website, include the following in your robots.txt”
Cómo bloquear o permitir CCBot
Para pedirle que no entre en todo el sitio, añade esto a robots.txt:
User-agent: CCBot
Disallow: /
Para mantenerlo fuera de una sola carpeta:
User-agent: CCBot
Disallow: /private/
Para permitirlo y pedir a todos los demás bots que no entren:
User-agent: CCBot
Allow: /
User-agent: *
Disallow: /
robots.txt es una petición, no un candado. Para imponer el bloqueo, añade una regla en el cortafuegos o en la CDN. Como Common Crawl publica las direcciones de CCBot, la regla puede ajustarse a ellas con exactitud, y así un CCBot falso no se cuela como el real.
Para crear un único robots.txt para varios bots a la vez, usa el generador de robots.txt.
¿Con qué frecuencia pasa CCBot?
Common Crawl no publica con qué frecuencia visita CCBot un sitio, e iplover no ve tu tráfico. Tu propio log de accesos es el único recuento fiable: pégalo en el revisor de logs, que cuenta las visitas de cada rastreador y marca los falsos, en tu navegador.
Documentación oficial
Registro revisado el 11 nov 2026. Las listas de direcciones se descargan cada 6 horas.