KI- & Bot-Verzeichnis
34 Crawler und KI-Bots: wer jeden betreibt, was er sammelt, welcher Name in robots.txt gilt, ob der Betreiber sagt, dass er robots.txt beachtet, und ob du beweisen kannst, dass ein Besuch echt ist. Die Fakten stammen aus der Dokumentation des jeweiligen Betreibers; wo es keine gibt, sagen wir das.
Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.
Suchmaschine
| Bot | Betreiber | Name in robots.txt | Was er tut | Beachtet robots.txt | Prüfbar? |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Durchsucht das Web für die Google-Suche. | Ja | Ja, über IP-Bereiche und Reverse-DNS | |
| Bingbot | Microsoft | bingbot |
Durchsucht das Web für die Bing-Suche. | Nicht dokumentiert | Ja, über IP-Bereiche |
| Applebot | Apple | Applebot |
Durchsucht das Web für Apples Suchfunktionen in Siri, Spotlight und Safari; die Daten können auch zum Training von Apples Basismodellen dienen. | Ja | Ja, über IP-Bereiche und Reverse-DNS |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Durchsucht das Web, um die Suchergebnisse von DuckDuckGo zu verbessern. | Ja | Ja, über IP-Bereiche |
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Findet und verlinkt Websites in den Suchantworten von ChatGPT. Für das Modelltraining wird er nicht genutzt. | Ja | Ja, über IP-Bereiche |
| PerplexityBot | Perplexity | PerplexityBot |
Findet und verlinkt Websites in den Suchergebnissen von Perplexity. Laut Perplexity sammelt er keine Inhalte für KI-Basismodelle. | Ja | Ja, über IP-Bereiche |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Durchsucht das Web, um die Qualität der Suchergebnisse für die Nutzer von Claude zu verbessern. | Ja | Ja, über IP-Bereiche |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Verbessert die Suche in Amazons Produkten und Diensten. Laut Amazon sammelt er keine Inhalte für das Training generativer KI. | Ja | Ja, über IP-Bereiche |
| meta-webindexer | Meta | meta-webindexer |
Indexiert Webseiten für die Suche in Meta AI. | Ja | Nein, nur am User-Agent |
KI-Training
| Bot | Betreiber | Name in robots.txt | Was er tut | Beachtet robots.txt | Prüfbar? |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Eine robots.txt-Steuerung, kein Crawler: Sie legt fest, ob Seiten, die Google ohnehin crawlt, zum Training und zur Fundierung von Gemini-Modellen genutzt werden dürfen. Auf die Google-Suche hat sie keinen Einfluss. | Eine robots.txt-Steuerung | Kein Crawler | |
| Applebot-Extended | Apple | Applebot-Extended |
Eine robots.txt-Steuerung, kein Crawler: Sie legt fest, ob von Applebot gecrawlte Seiten zum Training von Apples generativen Modellen genutzt werden dürfen. | Eine robots.txt-Steuerung | Kein Crawler |
| GPTBot | OpenAI | GPTBot |
Sammelt Inhalte, die zum Training der generativen KI-Modelle von OpenAI genutzt werden können. | Ja | Ja, über IP-Bereiche |
| ClaudeBot | Anthropic | ClaudeBot |
Sammelt Webinhalte, die zum Training von Anthropics Claude-Modellen beitragen können. Er unterstützt auch Crawl-delay. | Ja | Ja, über IP-Bereiche |
| CCBot | Common Crawl | CCBot |
Baut das freie, offene Webarchiv von Common Crawl auf, das jeder herunterladen kann, auch KI-Entwickler. | Ja | Ja, über IP-Bereiche und Reverse-DNS |
| meta-externalagent | Meta | meta-externalagent |
Durchsucht das Web für Zwecke wie das Training von Metas KI-Basismodellen oder die Verbesserung seiner Produkte durch Indexierung. | Ja | Nein, nur am User-Agent |
| Amazonbot | Amazon | Amazonbot |
Verbessert Amazons Produkte und Dienste; die Inhalte können zum Training von Amazons KI-Modellen genutzt werden. | Ja | Ja, über IP-Bereiche |
| Bytespider | ByteDance | Bytespider |
ByteDance, der Mutterkonzern von TikTok, hat keine Dokumentation dazu veröffentlicht; Community-Listen führen ihn als Crawler, der Daten für KI-Training sammelt. | Nicht dokumentiert | Nein, nur am User-Agent |
| Timpibot | Timpi | Timpibot |
Timpi hat keine Dokumentation veröffentlicht, die wir lesen konnten; laut Community-Listen sammelt er Daten zum Training von KI-Modellen. | Nicht dokumentiert | Nein, nur am User-Agent |
| FacebookBot | Meta | FacebookBot |
Ein älteres Crawler-Token von Meta, das in Metas aktueller Crawler-Dokumentation nicht mehr steht; Community-Listen führen es weiter für KI-Training. | Nicht dokumentiert | Nein, nur am User-Agent |
Abrufe für KI-Assistenten
| Bot | Betreiber | Name in robots.txt | Was er tut | Beachtet robots.txt | Prüfbar? |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
Ruft eine Seite auf, wenn jemand ChatGPT oder ein eigenes GPT danach fragt. Er durchsucht das Web nicht automatisch. | Teilweise | Ja, über IP-Bereiche |
| Perplexity-User | Perplexity | Perplexity-User |
Ruft eine Seite auf, wenn jemand Perplexity eine Frage stellt, die sie braucht. Er dient nicht zum Crawlen und nicht zum Training von KI-Modellen. | Meist nicht | Ja, über IP-Bereiche |
| Claude-User | Anthropic | Claude-User |
Ruft eine Seite auf, wenn ein Claude-Nutzer eine Frage stellt, die sie braucht. | Ja | Ja, über IP-Bereiche |
| meta-externalfetcher | Meta | meta-externalfetcher |
Ruft einzelne Links auf Wunsch eines Nutzers ab, etwa für die KI-Assistenzfunktionen von Meta. | Teilweise | Nein, nur am User-Agent |
| Amzn-User | Amazon | Amzn-User |
Ruft Seiten für Nutzeraktionen ab, etwa um eine Alexa-Frage zu beantworten, die aktuelle Informationen braucht. Laut Amazon sammelt er nicht für KI-Training. | Teilweise | Ja, über IP-Bereiche |
| cohere-ai | Cohere | cohere-ai |
Cohere hat keine Dokumentation veröffentlicht, die wir lesen konnten; laut Community-Listen ruft er Seiten ab, um Anfragen von Nutzern zu beantworten. | Nicht dokumentiert | Nein, nur am User-Agent |
SEO-Crawler
| Bot | Betreiber | Name in robots.txt | Was er tut | Beachtet robots.txt | Prüfbar? |
|---|---|---|---|---|---|
| AhrefsBot | Ahrefs | AhrefsBot, AhrefsSiteAudit |
Durchsucht das Web für die Link- und SEO-Datenbank von Ahrefs. AhrefsSiteAudit prüft Websites im Auftrag ihrer Betreiber. | Ja | Ja, über IP-Bereiche und Reverse-DNS |
| SemrushBot | Semrush | SemrushBot |
Durchsucht das Web für die SEO- und Marketing-Tools von Semrush. Laut Semrush nutzt er keine festen IP-Blöcke. | Ja | Nein, nur am User-Agent |
| DotBot | Moz | dotbot |
Durchsucht das Web für den Moz Link Index hinter Link Explorer und der Moz-API. | Ja | Nein, nur am User-Agent |
| MJ12bot | Majestic | MJ12bot |
Durchsucht das Web für den Link-Index von Majestic. Er läuft auf Rechnern von Freiwilligen, seine Adressen sind daher weltweit verstreut. | Ja | Nein, nur am User-Agent |
Sonstige
| Bot | Betreiber | Name in robots.txt | Was er tut | Beachtet robots.txt | Prüfbar? |
|---|---|---|---|---|---|
| Google special-case crawlers | – | Google-Crawler für bestimmte Produkte, etwa zur Prüfung der Zielseiten von Anzeigen, die auf Grundlage einer Vereinbarung mit der Website arbeiten. | Teilweise | Ja, über IP-Bereiche und Reverse-DNS | |
| Google user-triggered fetchers | – | Rufen eine Seite ab, weil ein Mensch ein Google-Produkt darum gebeten hat, etwa einen Feedreader oder eine Website-Bestätigung. | Meist nicht | Ja, über IP-Bereiche und Reverse-DNS | |
| facebookexternalhit | Meta | facebookexternalhit |
Ruft auf Facebook, Instagram oder im Messenger geteilte Seiten ab, um Titel, Beschreibung und Bild als Vorschau zu zeigen. | Teilweise | Nein, nur am User-Agent |
| Diffbot | Diffbot | Diffbot |
Diffbot hat keine Crawler-Dokumentation veröffentlicht, die wir lesen konnten; laut Community-Listen extrahiert er Webdaten für seine Kunden. | Nicht dokumentiert | Nein, nur am User-Agent |
| omgili | Webz.io | omgili |
Die Crawler-Seite von Webz.io hat unsere Anfrage abgewiesen, wir konnten sie also nicht lesen; laut Community-Listen sammelt er Webdaten, die Webz.io verkauft. | Nicht dokumentiert | Nein, nur am User-Agent |
So liest du dieses Verzeichnis
„Beachtet robots.txt“ ist das, was der Betreiber in seiner Dokumentation sagt, nicht etwas, das wir gemessen haben. Manche Bots rufen eine Seite ab, weil ein Mensch danach gefragt hat, und ihre Betreiber sagen, dass robots.txt dann eventuell nicht gilt.
„Prüfbar?“ sagt, ob der Betreiber die Adressen seines Bots veröffentlicht. Wenn ja, unterscheidet unser Bot-Prüfer einen echten Besuch von einem gefälschten. Wenn nicht, ist der User-Agent das einzige Zeichen, und den kann jeder kopieren.
Bots mit „Nicht dokumentiert“ sind solche, deren Betreiber nichts veröffentlichen, das wir lesen konnten; ihr User-Agent-Name stammt aus Community-Listen. Alle Quellen stehen auf der Seite mit den Datenquellen.