Meine Verbindung prüfen

KI- & Bot-Verzeichnis

34 Crawler und KI-Bots: wer jeden betreibt, was er sammelt, welcher Name in robots.txt gilt, ob der Betreiber sagt, dass er robots.txt beachtet, und ob du beweisen kannst, dass ein Besuch echt ist. Die Fakten stammen aus der Dokumentation des jeweiligen Betreibers; wo es keine gibt, sagen wir das.

Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.

KI-Training

BotBetreiberName in robots.txtWas er tutBeachtet robots.txtPrüfbar?
Google-Extended Google Google-Extended Eine robots.txt-Steuerung, kein Crawler: Sie legt fest, ob Seiten, die Google ohnehin crawlt, zum Training und zur Fundierung von Gemini-Modellen genutzt werden dürfen. Auf die Google-Suche hat sie keinen Einfluss. Eine robots.txt-Steuerung Kein Crawler
Applebot-Extended Apple Applebot-Extended Eine robots.txt-Steuerung, kein Crawler: Sie legt fest, ob von Applebot gecrawlte Seiten zum Training von Apples generativen Modellen genutzt werden dürfen. Eine robots.txt-Steuerung Kein Crawler
GPTBot OpenAI GPTBot Sammelt Inhalte, die zum Training der generativen KI-Modelle von OpenAI genutzt werden können. Ja Ja, über IP-Bereiche
ClaudeBot Anthropic ClaudeBot Sammelt Webinhalte, die zum Training von Anthropics Claude-Modellen beitragen können. Er unterstützt auch Crawl-delay. Ja Ja, über IP-Bereiche
CCBot Common Crawl CCBot Baut das freie, offene Webarchiv von Common Crawl auf, das jeder herunterladen kann, auch KI-Entwickler. Ja Ja, über IP-Bereiche und Reverse-DNS
meta-externalagent Meta meta-externalagent Durchsucht das Web für Zwecke wie das Training von Metas KI-Basismodellen oder die Verbesserung seiner Produkte durch Indexierung. Ja Nein, nur am User-Agent
Amazonbot Amazon Amazonbot Verbessert Amazons Produkte und Dienste; die Inhalte können zum Training von Amazons KI-Modellen genutzt werden. Ja Ja, über IP-Bereiche
Bytespider ByteDance Bytespider ByteDance, der Mutterkonzern von TikTok, hat keine Dokumentation dazu veröffentlicht; Community-Listen führen ihn als Crawler, der Daten für KI-Training sammelt. Nicht dokumentiert Nein, nur am User-Agent
Timpibot Timpi Timpibot Timpi hat keine Dokumentation veröffentlicht, die wir lesen konnten; laut Community-Listen sammelt er Daten zum Training von KI-Modellen. Nicht dokumentiert Nein, nur am User-Agent
FacebookBot Meta FacebookBot Ein älteres Crawler-Token von Meta, das in Metas aktueller Crawler-Dokumentation nicht mehr steht; Community-Listen führen es weiter für KI-Training. Nicht dokumentiert Nein, nur am User-Agent

Abrufe für KI-Assistenten

BotBetreiberName in robots.txtWas er tutBeachtet robots.txtPrüfbar?
ChatGPT-User OpenAI ChatGPT-User Ruft eine Seite auf, wenn jemand ChatGPT oder ein eigenes GPT danach fragt. Er durchsucht das Web nicht automatisch. Teilweise Ja, über IP-Bereiche
Perplexity-User Perplexity Perplexity-User Ruft eine Seite auf, wenn jemand Perplexity eine Frage stellt, die sie braucht. Er dient nicht zum Crawlen und nicht zum Training von KI-Modellen. Meist nicht Ja, über IP-Bereiche
Claude-User Anthropic Claude-User Ruft eine Seite auf, wenn ein Claude-Nutzer eine Frage stellt, die sie braucht. Ja Ja, über IP-Bereiche
meta-externalfetcher Meta meta-externalfetcher Ruft einzelne Links auf Wunsch eines Nutzers ab, etwa für die KI-Assistenzfunktionen von Meta. Teilweise Nein, nur am User-Agent
Amzn-User Amazon Amzn-User Ruft Seiten für Nutzeraktionen ab, etwa um eine Alexa-Frage zu beantworten, die aktuelle Informationen braucht. Laut Amazon sammelt er nicht für KI-Training. Teilweise Ja, über IP-Bereiche
cohere-ai Cohere cohere-ai Cohere hat keine Dokumentation veröffentlicht, die wir lesen konnten; laut Community-Listen ruft er Seiten ab, um Anfragen von Nutzern zu beantworten. Nicht dokumentiert Nein, nur am User-Agent

SEO-Crawler

BotBetreiberName in robots.txtWas er tutBeachtet robots.txtPrüfbar?
AhrefsBot Ahrefs AhrefsBot, AhrefsSiteAudit Durchsucht das Web für die Link- und SEO-Datenbank von Ahrefs. AhrefsSiteAudit prüft Websites im Auftrag ihrer Betreiber. Ja Ja, über IP-Bereiche und Reverse-DNS
SemrushBot Semrush SemrushBot Durchsucht das Web für die SEO- und Marketing-Tools von Semrush. Laut Semrush nutzt er keine festen IP-Blöcke. Ja Nein, nur am User-Agent
DotBot Moz dotbot Durchsucht das Web für den Moz Link Index hinter Link Explorer und der Moz-API. Ja Nein, nur am User-Agent
MJ12bot Majestic MJ12bot Durchsucht das Web für den Link-Index von Majestic. Er läuft auf Rechnern von Freiwilligen, seine Adressen sind daher weltweit verstreut. Ja Nein, nur am User-Agent

Sonstige

BotBetreiberName in robots.txtWas er tutBeachtet robots.txtPrüfbar?
Google special-case crawlers Google – Google-Crawler für bestimmte Produkte, etwa zur Prüfung der Zielseiten von Anzeigen, die auf Grundlage einer Vereinbarung mit der Website arbeiten. Teilweise Ja, über IP-Bereiche und Reverse-DNS
Google user-triggered fetchers Google – Rufen eine Seite ab, weil ein Mensch ein Google-Produkt darum gebeten hat, etwa einen Feedreader oder eine Website-Bestätigung. Meist nicht Ja, über IP-Bereiche und Reverse-DNS
facebookexternalhit Meta facebookexternalhit Ruft auf Facebook, Instagram oder im Messenger geteilte Seiten ab, um Titel, Beschreibung und Bild als Vorschau zu zeigen. Teilweise Nein, nur am User-Agent
Diffbot Diffbot Diffbot Diffbot hat keine Crawler-Dokumentation veröffentlicht, die wir lesen konnten; laut Community-Listen extrahiert er Webdaten für seine Kunden. Nicht dokumentiert Nein, nur am User-Agent
omgili Webz.io omgili Die Crawler-Seite von Webz.io hat unsere Anfrage abgewiesen, wir konnten sie also nicht lesen; laut Community-Listen sammelt er Webdaten, die Webz.io verkauft. Nicht dokumentiert Nein, nur am User-Agent

So liest du dieses Verzeichnis

„Beachtet robots.txt“ ist das, was der Betreiber in seiner Dokumentation sagt, nicht etwas, das wir gemessen haben. Manche Bots rufen eine Seite ab, weil ein Mensch danach gefragt hat, und ihre Betreiber sagen, dass robots.txt dann eventuell nicht gilt.

„Prüfbar?“ sagt, ob der Betreiber die Adressen seines Bots veröffentlicht. Wenn ja, unterscheidet unser Bot-Prüfer einen echten Besuch von einem gefälschten. Wenn nicht, ist der User-Agent das einzige Zeichen, und den kann jeder kopieren.

Bots mit „Nicht dokumentiert“ sind solche, deren Betreiber nichts veröffentlichen, das wir lesen konnten; ihr User-Agent-Name stammt aus Community-Listen. Alle Quellen stehen auf der Seite mit den Datenquellen.