KI- & Bot-Verzeichnis · KI-Training
CCBot: was er ist, wie du ihn prüfst und wie du ihn sperrst
CCBot wird von Common Crawl betrieben. Baut das freie, offene Webarchiv von Common Crawl auf, das jeder herunterladen kann, auch KI-Entwickler.
Wichtigste Fakten
| Betreiber | Common Crawl |
|---|---|
| Kategorie | KI-Training |
| Name in robots.txt | CCBot |
| Beachtet robots.txt | OK: Ja |
| Prüfbar? | OK: Ja, über IP-Bereiche und Reverse-DNS |
| Offizielle Dokumentation | |
| Register geprüft | 11. Nov. 2026 |
User-Agent
Sein Name in robots.txt ist CCBot.
Common Crawl dokumentiert diesen User-Agent:
CCBot/2.0 (https://commoncrawl.org/faq/)
Lässt sich CCBot prüfen?
Ja Common Crawl veröffentlicht die IP-Adressen, die CCBot nutzt. Wir laden diese Liste alle 6 Stunden herunter: Unsere Kopie ist vom 15. Nov. 2026 und hat 5 Einträge; Common Crawl hat sie auf den 11. Aug. 2026 datiert.
Seine Adressen haben außerdem Reverse-DNS-Namen unter crawl.commoncrawl.org; ein Name zählt nur, wenn er auf dieselbe Adresse zurückzeigt.
Beachtet CCBot robots.txt?
Ja Common Crawl sagt, dass CCBot robots.txt beachtet.
“To prevent Common Crawl from crawling your website, include the following in your robots.txt”
So sperrst oder erlaubst du CCBot
Um ihn zu bitten, der ganzen Website fernzubleiben, trag das in robots.txt ein:
User-agent: CCBot
Disallow: /
Um ihn nur aus einem Ordner fernzuhalten:
User-agent: CCBot
Disallow: /private/
Um ihn zu erlauben und alle anderen Bots zu bitten, fernzubleiben:
User-agent: CCBot
Allow: /
User-agent: *
Disallow: /
robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an. Weil Common Crawl die Adressen von CCBot veröffentlicht, kann die Regel sie genau treffen, sodass ein falscher CCBot nicht als echter durchkommt.
Für eine robots.txt für mehrere Bots auf einmal nutze den robots.txt-Generator.
Wie oft kommt CCBot vorbei?
Common Crawl veröffentlicht nicht, wie oft CCBot eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.
Offizielle Dokumentation
Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.