Meine Verbindung prüfen

KI- & Bot-Verzeichnis · KI-Training

CCBot: was er ist, wie du ihn prüfst und wie du ihn sperrst

CCBot wird von Common Crawl betrieben. Baut das freie, offene Webarchiv von Common Crawl auf, das jeder herunterladen kann, auch KI-Entwickler.

Wichtigste Fakten

Wichtigste Fakten
Betreiber
Common Crawl
Kategorie
KI-Training
Name in robots.txt
CCBot
Beachtet robots.txt
OK: Ja
Prüfbar?
OK: Ja, über IP-Bereiche und Reverse-DNS
Offizielle Dokumentation
Register geprüft
11. Nov. 2026

User-Agent

Sein Name in robots.txt ist CCBot.

Common Crawl dokumentiert diesen User-Agent:

CCBot/2.0 (https://commoncrawl.org/faq/)

Lässt sich CCBot prüfen?

Ja Common Crawl veröffentlicht die IP-Adressen, die CCBot nutzt. Wir laden diese Liste alle 6 Stunden herunter: Unsere Kopie ist vom 15. Nov. 2026 und hat 5 Einträge; Common Crawl hat sie auf den 11. Aug. 2026 datiert.

Seine Adressen haben außerdem Reverse-DNS-Namen unter crawl.commoncrawl.org; ein Name zählt nur, wenn er auf dieselbe Adresse zurückzeigt.

Eine Adresse aus deinen Logs prüfen

Beachtet CCBot robots.txt?

Ja Common Crawl sagt, dass CCBot robots.txt beachtet.

“To prevent Common Crawl from crawling your website, include the following in your robots.txt”

So sperrst oder erlaubst du CCBot

Um ihn zu bitten, der ganzen Website fernzubleiben, trag das in robots.txt ein:

User-agent: CCBot
Disallow: /

Um ihn nur aus einem Ordner fernzuhalten:

User-agent: CCBot
Disallow: /private/

Um ihn zu erlauben und alle anderen Bots zu bitten, fernzubleiben:

User-agent: CCBot
Allow: /

User-agent: *
Disallow: /

robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an. Weil Common Crawl die Adressen von CCBot veröffentlicht, kann die Regel sie genau treffen, sodass ein falscher CCBot nicht als echter durchkommt.

Für eine robots.txt für mehrere Bots auf einmal nutze den robots.txt-Generator.

Wie oft kommt CCBot vorbei?

Common Crawl veröffentlicht nicht, wie oft CCBot eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.

Offizielle Dokumentation

commoncrawl.org/ccbot

Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.