Vérifier ma connexion

Annuaire des bots et de l'IA · Entraînement d'IA

CCBot : ce que c'est, comment le vérifier et comment le bloquer

CCBot est exploité par Common Crawl. Constitue l'archive libre et ouverte du web de Common Crawl, que chacun peut télécharger, y compris les développeurs d'IA.

L'essentiel

L'essentiel
Opérateur
Common Crawl
Catégorie
Entraînement d'IA
Nom dans robots.txt
CCBot
Respecte robots.txt
OK: Oui
Vérifiable ?
OK: Oui, par plages IP et DNS inverse
Documentation officielle
Registre vérifié
11 nov. 2026

User agent

Son nom dans robots.txt est CCBot.

Common Crawl documente cette chaîne de user agent :

CCBot/2.0 (https://commoncrawl.org/faq/)

Peut-on vérifier CCBot ?

Oui Common Crawl publie les adresses IP utilisées par CCBot. Nous téléchargeons cette liste toutes les 6 heures : notre copie date du 15 nov. 2026 et compte 5 entrées ; Common Crawl l'a datée du 11 août 2026.

Ses adresses ont aussi des noms DNS inverses sous crawl.commoncrawl.org ; un nom ne compte que s'il renvoie à la même adresse.

Vérifier une adresse de vos journaux

CCBot respecte-t-il robots.txt ?

Oui Common Crawl affirme que CCBot respecte robots.txt.

“To prevent Common Crawl from crawling your website, include the following in your robots.txt”

Comment bloquer ou autoriser CCBot

Pour lui demander de ne pas visiter tout le site, ajoutez ceci à robots.txt :

User-agent: CCBot
Disallow: /

Pour l'écarter d'un seul dossier :

User-agent: CCBot
Disallow: /private/

Pour l'autoriser tout en demandant à tous les autres bots de ne pas venir :

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /

robots.txt est une demande, pas un verrou. Pour imposer un blocage, ajoutez une règle de pare-feu ou de CDN. Comme Common Crawl publie les adresses de CCBot, une règle peut les cibler exactement : un faux CCBot ne peut pas passer pour le vrai.

Pour créer un seul robots.txt pour plusieurs bots à la fois, utilisez le générateur de robots.txt.

À quelle fréquence CCBot visite-t-il ?

Common Crawl ne publie pas la fréquence des visites de CCBot, et iplover ne voit pas votre trafic. Votre propre journal d'accès est le seul décompte fiable : collez-le dans le vérificateur de journaux, qui compte les visites de chaque robot et repère les imposteurs, dans votre navigateur.

Documentation officielle

commoncrawl.org/ccbot

Registre vérifié le 11 nov. 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.