Ratgeber · Eine IP untersuchen
KI-Crawler blockieren (GPTBot, ClaudeBot, PerplexityBot und mehr): IP-Bereiche und robots.txt
Deine Server-Logs füllen sich mit GPTBot, ClaudeBot und meta-externalagent, und du willst mitbestimmen, was mit deinen Inhalten passiert. Diese Seite behandelt die wichtigsten KI-Crawler, die aus unserem Bot-Register, so wie jeder Betreiber sie dokumentiert, mit fertigen Regeln für robots.txt, nginx, Apache und Cloudflare. Es kommen ständig neue Bots dazu, also ist keine Liste vollständig: Die Tabellen wachsen mit dem Register, denselben Daten wie bei Bot prüfen und dem robots.txt-Generator.
Zwei Daten auf dieser Seite: „Zuletzt aktualisiert“ oben sagt, wann wir den Artikel zuletzt überarbeitet haben. „Register geprüft“ unter jeder Tabelle sagt, wann wir zuletzt jeden Bot im Register mit der Dokumentation seines Betreibers abgeglichen haben. Die offiziellen IP-Listen hinter den Tabellen werden alle 6 Stunden neu heruntergeladen.
Drei Arten von KI-Bots, drei verschiedene Entscheidungen
„KI blockieren“ kann drei Dinge heißen, und jedes davon ist ein anderer Bot mit eigenem robots.txt-Token:
- Trainings-Crawler sammeln Seiten, die zum Training von KI-Modellen genutzt werden können, zum Beispiel GPTBot, ClaudeBot und CCBot. Google und Apple nutzen ihre normalen Such-Crawler und geben dir ein eigenes Token,
Google-ExtendedundApplebot-Extended, das nur die KI-Nutzung des Abgerufenen steuert. - KI-Such-Crawler indexieren Seiten, damit eine Antwortmaschine sie zitieren und verlinken kann: OAI-SearchBot für die ChatGPT-Suche, PerplexityBot, Claude-SearchBot. Wer sie blockiert, bleibt aus dem Training und auch aus ihren Antworten heraus, Links eingeschlossen.
- Vom Nutzer ausgelöste Fetcher laden eine Seite, weil jemand einen Assistenten gebeten hat, sie zu lesen, zum Beispiel ChatGPT-User oder Perplexity-User. Mehrere Betreiber sagen, dass robots.txt für diese womöglich nicht gilt.
Entscheide zuerst, was du willst
| Wenn du… | Blockiere | Lass zu |
|---|---|---|
| deine Inhalte aus dem KI-Training heraushalten, aber in den Antworten der KI-Suche bleiben willst | Die Trainings-Gruppe | Die KI-Such-Crawler, Googlebot, Applebot |
| auch aus KI-Antworten und -Zitaten verschwinden willst | Die Trainings- und die KI-Such-Gruppe | Googlebot, Bingbot, Applebot |
| verhindern willst, dass Assistenten eine Seite auf Nutzerwunsch lesen | Die Gruppe der vom Nutzer ausgelösten Fetcher, am Server oder an der Firewall | Alles andere |
| dein Ranking in der Google- und Apple-Suche behalten willst | Niemals Googlebot oder Applebot: nutze stattdessen Google-Extended und Applebot-Extended | Googlebot, Applebot |
Die KI-Crawler, Bot für Bot
Zu jedem Bot: der Betreiber, das Token für robots.txt, ob der Betreiber sagt, dass er robots.txt beachtet, ob sich nachweisen lässt, dass eine Anfrage wirklich von ihm kommt, und die offiziellen Quellen, also die IP-Liste, wo es eine gibt, und die Dokumentation des Betreibers. Jeder Name führt zur Seite des Bots in unserem Verzeichnis, mit den vollständigen User-Agent-Strings und Details zur Prüfung.
Trainings-Crawler
| Bot | Betreiber | Name in robots.txt | Beachtet robots.txt | Prüfbar? | Quellen |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Eine robots.txt-Steuerung | Kein Crawler | Dokumentation des Betreibers: developers.google.com |
|
| Applebot-Extended | Apple | Applebot-Extended |
Eine robots.txt-Steuerung | Kein Crawler | Dokumentation des Betreibers: support.apple.com |
| GPTBot | OpenAI | GPTBot |
Ja | Ja, über IP-Bereiche | Offizielle IP-Liste: openai.com/gptbot.jsonDokumentation des Betreibers: developers.openai.com |
| ClaudeBot | Anthropic | ClaudeBot |
Ja | Ja, über IP-Bereiche | Offizielle IP-Liste: claude.com/crawling/bots.jsonDokumentation des Betreibers: support.claude.com |
| CCBot | Common Crawl | CCBot |
Ja | Ja, über IP-Bereiche und Reverse-DNS | Offizielle IP-Liste: index.commoncrawl.org/ccbot.jsonDokumentation des Betreibers: commoncrawl.org |
| meta-externalagent | Meta | meta-externalagent |
Ja | Nein, nur am User-Agent | Dokumentation des Betreibers: developers.facebook.com |
| Amazonbot | Amazon | Amazonbot |
Ja | Ja, über IP-Bereiche | Offizielle IP-Liste: developer.amazon.com/amazonbot/ip-addresses/Dokumentation des Betreibers: developer.amazon.com |
| Bytespider | ByteDance | Bytespider |
Nicht dokumentiert | Nein, nur am User-Agent | – |
| Timpibot | Timpi | Timpibot |
Nicht dokumentiert | Nein, nur am User-Agent | – |
| FacebookBot | Meta | FacebookBot |
Nicht dokumentiert | Nein, nur am User-Agent | – |
Zwei Zeilen sind Tokens, keine Crawler. Google schreibt Google-Extended doesn't have a separate HTTP request user agent string.
(Quelle), und Apple Applebot-Extended does not crawl webpages.
(Quelle) Googlebot und Applebot rufen die Seiten ab; das Token entscheidet nur, ob das Ergebnis für KI genutzt werden darf. Apple ergänzt Webpages that disallow Applebot-Extended can still be included in search results.
(Quelle)
Für Bytespider, Timpibot und FacebookBot haben wir keine öffentliche Dokumentation gefunden: Es gibt keine robots.txt-Zusage, auf die du dich verlassen kannst, und keine IP-Liste zum Abgleich. Wenn sie dich stören, blockiere sie am Server.
KI-Such-Crawler
| Bot | Betreiber | Name in robots.txt | Beachtet robots.txt | Prüfbar? | Quellen |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Ja | Ja, über IP-Bereiche | Offizielle IP-Liste: openai.com/searchbot.jsonDokumentation des Betreibers: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Ja | Ja, über IP-Bereiche | Offizielle IP-Liste: perplexity.ai/perplexitybot.jsonDokumentation des Betreibers: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Ja | Ja, über IP-Bereiche | Offizielle IP-Liste: claude.com/crawling/bots.jsonDokumentation des Betreibers: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Ja | Ja, über IP-Bereiche | Offizielle IP-Liste: developer.amazon.com/amazonbot/searchbot-ip-addresses/Dokumentation des Betreibers: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
Ja | Nein, nur am User-Agent | Dokumentation des Betreibers: developers.facebook.com |
OpenAI sagt klar, dass die beiden Ausschlüsse getrennt sind: a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot
(Quelle). Außerdem heißt es, dass OpenAI, wenn beide zugelassen sind, we may use the results from just one crawl for both use cases
(Quelle).
Vom Nutzer ausgelöste Fetcher
| Bot | Betreiber | Name in robots.txt | Beachtet robots.txt | Prüfbar? | Quellen |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
Teilweise | Ja, über IP-Bereiche | Offizielle IP-Liste: openai.com/chatgpt-user.jsonDokumentation des Betreibers: developers.openai.com |
| Perplexity-User | Perplexity | Perplexity-User |
Meist nicht | Ja, über IP-Bereiche | Offizielle IP-Liste: perplexity.ai/perplexity-user.jsonDokumentation des Betreibers: docs.perplexity.ai |
| Claude-User | Anthropic | Claude-User |
Ja | Ja, über IP-Bereiche | Offizielle IP-Liste: claude.com/crawling/bots.jsonDokumentation des Betreibers: support.claude.com |
| meta-externalfetcher | Meta | meta-externalfetcher |
Teilweise | Nein, nur am User-Agent | Dokumentation des Betreibers: developers.facebook.com |
| Amzn-User | Amazon | Amzn-User |
Teilweise | Ja, über IP-Bereiche | Offizielle IP-Liste: developer.amazon.com/amazonbot/live-ip-addresses/Dokumentation des Betreibers: developer.amazon.com |
| cohere-ai | Cohere | cohere-ai |
Nicht dokumentiert | Nein, nur am User-Agent | – |
Lies hier die robots.txt-Spalte genau. Für ChatGPT-User schreibt OpenAI Because these actions are initiated by a user, robots.txt rules may not apply.
(Quelle) Perplexity sagt, sein Fetcher generally ignores robots.txt rules
(Quelle), und Meta, dass seiner may bypass robots.txt rules
(Quelle). Wenn du diese draußen halten willst, reicht robots.txt allein nicht.
robots.txt zum Kopieren
robots.txt liegt im Wurzelverzeichnis jedes Hosts: https://example.com/robots.txt gilt nur für example.com, also brauchen www, shop und jede andere Subdomain eine eigene Kopie. Mehrere User-agent-Zeilen dürfen sich eine Regel teilen, so erlaubt es RFC 9309. Kopiere die Gruppen, die zu deiner Entscheidung passen.
Trainings-Crawler und die Steuerungen für KI-Training:
# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /
KI-Such-Crawler (nur wenn du auch aus KI-Antworten verschwinden willst):
# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /
Vom Nutzer ausgelöste Fetcher (eine höfliche Bitte; oben steht, warum sie ignoriert werden kann):
# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /
Jeder Block sperrt die ganze Website. Um einen Bereich offen zu lassen, füge in derselben Gruppe eine Allow:-Zeile mit seinem Pfad hinzu. Nach RFC 9309 gewinnt die spezifischste (längste) passende Regel, also schlägt Allow: /blog/ für Seiten unter /blog/ das Disallow: /.
robots.txt ist eine Bitte, kein Schloss
robots.txt funktioniert, weil sich anständige Crawler entscheiden, es zu lesen und zu befolgen. Einen Scraper, der es ignoriert, hält es nicht auf, und ein Scraper mit dem User Agent eines Browsers passt nie auf deine User-agent-Zeilen. Sieh robots.txt als Erklärung deines Willens, die dokumentierte Crawler respektieren, und setze es dort durch, wo es zählt.
Am Server oder an der Firewall durchsetzen
Eine User-Agent-Regel lehnt jede Anfrage ab, deren User Agent eines der Tokens enthält. Sie stoppt ehrliche Bots ab der nächsten Anfrage und auch schlampige Fälschungen. Die Regeln unten nutzen dieselben drei Gruppen wie die robots.txt-Blöcke oben und setzen damit dieselbe Entscheidung durch:
- Trainings-Crawler werden so blockiert, wie es dasteht. Google-Extended und Applebot-Extended fehlen hier: Sie tauchen nie in einer Anfrage auf, und der robots.txt-Block deckt sie schon ab.
- Vom Nutzer ausgelöste Fetcher und KI-Such-Crawler sind vorbereitet, aber ausgeschaltet. Schalte eine Gruppe nur ein, wenn du sie auch in robots.txt blockiert hast oder das wolltest: Wer KI-Such-Crawler blockiert, verschwindet aus KI-Antworten.
Jede Regel lässt /robots.txt lesbar, damit Crawler deinen Ausschluss weiterhin sehen.
nginx
Das erste map setzt $ai_bot auf 1, wenn der User Agent ein Token einer aktiven Gruppe enthält (~* heißt: Groß- und Kleinschreibung egal). Das zweite map reicht diesen Wert für jeden Pfad außer /robots.txt weiter. Das if antwortet diesen Anfragen dann mit 403. Um eine weitere Gruppe einzuschalten, entferne das # vor ihrer Zeile.
# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
default 0;
# Training crawlers (the first robots.txt block)
"~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
# User-triggered fetchers: uncomment to refuse them too
# "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
# AI search crawlers: uncomment only if you also leave AI answers
# "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
default $ai_bot;
/robots.txt 0;
}
# In each server { } block that should refuse them:
if ($block_ai) { return 403; }
Apache
Jede SetEnvIfNoCase-Zeile markiert die Anfragen einer Gruppe; entferne das Kommentarzeichen vor einer Zeile, um ihre Gruppe hinzuzufügen. Die SetEnvIf-Zeile nimmt die Markierung für /robots.txt wieder weg, und Require not env lehnt markierte Anfragen mit 403 ab. In .htaccess braucht das AllowOverride FileInfo AuthConfig (oder All).
# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
Require all granted
Require not env block_ai
</RequireAll>
Cloudflare
Lege für jede Gruppe, die du in robots.txt blockiert hast, eine WAF-Custom-Rule mit der Aktion Block an. Jeder Ausdruck erfasst die Tokens dieser Gruppe, dazu die Bots, die Cloudflare selbst in der passenden Kategorie verifizierter Bots geprüft hat, und lässt /robots.txt in Ruhe.
Regel 1, Trainings-Crawler (der erste robots.txt-Block). Cloudflare-Kategorie: AI Crawler.
(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"
Regel 2, optional, vom Nutzer ausgelöste Fetcher. Cloudflare-Kategorie: AI Assistant.
(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"
Regel 3, optional, KI-Such-Crawler: nur wenn du auch aus KI-Antworten verschwinden willst. Cloudflare-Kategorie: AI Search. Cloudflare behält sie für bestehende Regeln, unterscheidet sie in der neueren Einteilung aber nicht mehr von normaler Suche, deshalb erledigen hier die Tokens den Großteil.
(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"
Cloudflare entscheidet, welche verifizierten Bots zu welcher Kategorie gehören, und eine Kategorie kann Bots enthalten, die nicht in unseren Tabellen stehen. Wenn eine Regel nur die aufgeführten Tokens erfassen soll, lösch ihre cf.verified_bot_category-Zeile.
Cloudflare hat dafür auch eine Einstellung im Dashboard, inzwischen AI Crawler and Agent access policies
(Quelle) genannt, unter Security, Settings. Sie ordnet Bots nach Verhalten, und ihre drei Verhaltensweisen passen zu den Gruppen hier: Training zu den Trainings-Crawlern, Search zu den KI-Such-Crawlern, Agent zu den vom Nutzer ausgelösten Fetchern. Sie gilt für verifizierte Bots und für nicht verifizierte, die zu ihnen passen.
Nach IP-Bereich blockieren oder zulassen
User Agents lassen sich fälschen, die Adresse einer abgeschlossenen Anfrage nicht. Wo ein Betreiber die Adressen seiner Crawler veröffentlicht, verlinken die Tabellen die offizielle Liste. Du kannst sie auf zwei Arten nutzen: einen Crawler nur aus seinen eigenen Bereichen zulassen, sodass ein falscher GPTBot von anderswo nichts bekommt, oder diese Bereiche ganz blockieren.
Kopiere die Bereiche nicht einmal in deine Konfiguration und vergiss sie dann: Die Betreiber ändern sie. Lade die Listen regelmäßig, so wie wir: Unsere Kopien werden alle 6 Stunden erneuert, und die Seite mit den Datenquellen zeigt, wann jede zuletzt aktualisiert wurde. Für Automatisierung beantwortet unsere API dieselbe Frage pro Adresse.
Prüfen, ob ein Bot echt ist
Füge eine Adresse aus deinen Logs, und den User Agent, falls du ihn hast, in Bot prüfen ein. Es gleicht die Adresse mit den offiziellen Listen ab und, bei Betreibern, die das unterstützen, mit vorwärtsbestätigtem Reverse-DNS, und sagt dir dann, ob die Anfrage wirklich von dem Bot kommt, der er zu sein behauptet. Dieselbe Methode von Hand, für Google, steht in unserer Anleitung, wie du eine Googlebot-IP prüfst.
Suchst du einen bestimmten Crawler? Das KI- & Bot-Verzeichnis nennt zu jedem User-Agent, IP-Bereiche und den Namen in robots.txt. Um mehrere KI-Bots auf einmal zu sperren, nutze den robots.txt-Generator.
Fragen und Antworten
Fliegt meine Website aus der ChatGPT-Suche, wenn ich GPTBot blockiere?
Nein. OpenAI nutzt OAI-SearchBot für die Suche und GPTBot fürs Training und schreibt Each setting is independent of the others.
(Quelle) Um aus den Antworten der ChatGPT-Suche zu verschwinden, musst du auch OAI-SearchBot ausschließen.
Schadet es meinem Google-Ranking, wenn ich Google-Extended blockiere?
Google schreibt Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.
(Quelle) Apple sagt dasselbe über sein Token: Site rules for Applebot-Extended are not considered in ranking for Search.
(Quelle)
Halten sich KI-Crawler an robots.txt?
Die dokumentierten Crawler in den Tabellen sagen ja. Fetcher, die im Auftrag eines Nutzers handeln, sind anders: Für ChatGPT-User schreibt OpenAI, dass robots.txt rules may not apply
(Quelle), und Perplexity, dass sein Fetcher generally ignores robots.txt rules
(Quelle). Bots ohne öffentliche Dokumentation wie Bytespider haben gar nichts zugesagt.
Wie lange dauert es, bis eine Änderung an robots.txt wirkt?
OpenAI schreibt it can take ~24 hours from a site's robots.txt update for our systems to adjust.
(Quelle) Die anderen Betreiber in den Tabellen nennen keine Zeit. Eine Server- oder Firewall-Regel gilt ab der nächsten Anfrage.
Quellen
Offizielle Dokumente, mit denen wir die Fakten in diesem Ratgeber geprüft haben.
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google Search Central: Google's common crawlers (Google-Extended)
- Apple: About Applebot (Applebot-Extended)
- Meta: Meta web crawlers
- Amazon: Amazonbot
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_rewrite
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Verified bots and their categories
- Cloudflare: cf.verified_bot_category