Meine Verbindung prüfen

Ratgeber · Eine IP untersuchen

KI-Crawler blockieren (GPTBot, ClaudeBot, PerplexityBot und mehr): IP-Bereiche und robots.txt

Deine Server-Logs füllen sich mit GPTBot, ClaudeBot und meta-externalagent, und du willst mitbestimmen, was mit deinen Inhalten passiert. Diese Seite behandelt die wichtigsten KI-Crawler, die aus unserem Bot-Register, so wie jeder Betreiber sie dokumentiert, mit fertigen Regeln für robots.txt, nginx, Apache und Cloudflare. Es kommen ständig neue Bots dazu, also ist keine Liste vollständig: Die Tabellen wachsen mit dem Register, denselben Daten wie bei Bot prüfen und dem robots.txt-Generator.

Zwei Daten auf dieser Seite: „Zuletzt aktualisiert“ oben sagt, wann wir den Artikel zuletzt überarbeitet haben. „Register geprüft“ unter jeder Tabelle sagt, wann wir zuletzt jeden Bot im Register mit der Dokumentation seines Betreibers abgeglichen haben. Die offiziellen IP-Listen hinter den Tabellen werden alle 6 Stunden neu heruntergeladen.

Drei Arten von KI-Bots, drei verschiedene Entscheidungen

„KI blockieren“ kann drei Dinge heißen, und jedes davon ist ein anderer Bot mit eigenem robots.txt-Token:

Entscheide zuerst, was du willst

Was du für welches Ziel blockierst
Wenn du…BlockiereLass zu
deine Inhalte aus dem KI-Training heraushalten, aber in den Antworten der KI-Suche bleiben willstDie Trainings-GruppeDie KI-Such-Crawler, Googlebot, Applebot
auch aus KI-Antworten und -Zitaten verschwinden willstDie Trainings- und die KI-Such-GruppeGooglebot, Bingbot, Applebot
verhindern willst, dass Assistenten eine Seite auf Nutzerwunsch lesenDie Gruppe der vom Nutzer ausgelösten Fetcher, am Server oder an der FirewallAlles andere
dein Ranking in der Google- und Apple-Suche behalten willstNiemals Googlebot oder Applebot: nutze stattdessen Google-Extended und Applebot-ExtendedGooglebot, Applebot

Die KI-Crawler, Bot für Bot

Zu jedem Bot: der Betreiber, das Token für robots.txt, ob der Betreiber sagt, dass er robots.txt beachtet, ob sich nachweisen lässt, dass eine Anfrage wirklich von ihm kommt, und die offiziellen Quellen, also die IP-Liste, wo es eine gibt, und die Dokumentation des Betreibers. Jeder Name führt zur Seite des Bots in unserem Verzeichnis, mit den vollständigen User-Agent-Strings und Details zur Prüfung.

Trainings-Crawler

Crawler für KI-Training und Steuerungen für KI-Training. Register geprüft am 11. November 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.
BotBetreiberName in robots.txtBeachtet robots.txtPrüfbar?Quellen
Google-Extended Google
Google-Extended
Eine robots.txt-Steuerung Kein Crawler
Dokumentation des Betreibers: developers.google.com
Applebot-Extended Apple
Applebot-Extended
Eine robots.txt-Steuerung Kein Crawler
Dokumentation des Betreibers: support.apple.com
GPTBot OpenAI
GPTBot
Ja Ja, über IP-Bereiche
Offizielle IP-Liste: openai.com/gptbot.jsonDokumentation des Betreibers: developers.openai.com
ClaudeBot Anthropic
ClaudeBot
Ja Ja, über IP-Bereiche
Offizielle IP-Liste: claude.com/crawling/bots.jsonDokumentation des Betreibers: support.claude.com
CCBot Common Crawl
CCBot
Ja Ja, über IP-Bereiche und Reverse-DNS
Offizielle IP-Liste: index.commoncrawl.org/ccbot.jsonDokumentation des Betreibers: commoncrawl.org
meta-externalagent Meta
meta-externalagent
Ja Nein, nur am User-Agent
Dokumentation des Betreibers: developers.facebook.com
Amazonbot Amazon
Amazonbot
Ja Ja, über IP-Bereiche
Offizielle IP-Liste: developer.amazon.com/amazonbot/ip-addresses/Dokumentation des Betreibers: developer.amazon.com
Bytespider ByteDance
Bytespider
Nicht dokumentiert Nein, nur am User-Agent
–
Timpibot Timpi
Timpibot
Nicht dokumentiert Nein, nur am User-Agent
–
FacebookBot Meta
FacebookBot
Nicht dokumentiert Nein, nur am User-Agent
–

Zwei Zeilen sind Tokens, keine Crawler. Google schreibt Google-Extended doesn't have a separate HTTP request user agent string. (Quelle), und Apple Applebot-Extended does not crawl webpages. (Quelle) Googlebot und Applebot rufen die Seiten ab; das Token entscheidet nur, ob das Ergebnis für KI genutzt werden darf. Apple ergänzt Webpages that disallow Applebot-Extended can still be included in search results. (Quelle)

Für Bytespider, Timpibot und FacebookBot haben wir keine öffentliche Dokumentation gefunden: Es gibt keine robots.txt-Zusage, auf die du dich verlassen kannst, und keine IP-Liste zum Abgleich. Wenn sie dich stören, blockiere sie am Server.

KI-Such-Crawler

KI-Such-Crawler. Register geprüft am 11. November 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.
BotBetreiberName in robots.txtBeachtet robots.txtPrüfbar?Quellen
OAI-SearchBot OpenAI
OAI-SearchBot
Ja Ja, über IP-Bereiche
Offizielle IP-Liste: openai.com/searchbot.jsonDokumentation des Betreibers: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Ja Ja, über IP-Bereiche
Offizielle IP-Liste: perplexity.ai/perplexitybot.jsonDokumentation des Betreibers: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Ja Ja, über IP-Bereiche
Offizielle IP-Liste: claude.com/crawling/bots.jsonDokumentation des Betreibers: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Ja Ja, über IP-Bereiche
Offizielle IP-Liste: developer.amazon.com/amazonbot/searchbot-ip-addresses/Dokumentation des Betreibers: developer.amazon.com
meta-webindexer Meta
meta-webindexer
Ja Nein, nur am User-Agent
Dokumentation des Betreibers: developers.facebook.com

OpenAI sagt klar, dass die beiden Ausschlüsse getrennt sind: a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot (Quelle). Außerdem heißt es, dass OpenAI, wenn beide zugelassen sind, we may use the results from just one crawl for both use cases (Quelle).

Vom Nutzer ausgelöste Fetcher

Fetcher, die im Auftrag eines Nutzers abrufen. Register geprüft am 11. November 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.
BotBetreiberName in robots.txtBeachtet robots.txtPrüfbar?Quellen
ChatGPT-User OpenAI
ChatGPT-User
Teilweise Ja, über IP-Bereiche
Offizielle IP-Liste: openai.com/chatgpt-user.jsonDokumentation des Betreibers: developers.openai.com
Perplexity-User Perplexity
Perplexity-User
Meist nicht Ja, über IP-Bereiche
Offizielle IP-Liste: perplexity.ai/perplexity-user.jsonDokumentation des Betreibers: docs.perplexity.ai
Claude-User Anthropic
Claude-User
Ja Ja, über IP-Bereiche
Offizielle IP-Liste: claude.com/crawling/bots.jsonDokumentation des Betreibers: support.claude.com
meta-externalfetcher Meta
meta-externalfetcher
Teilweise Nein, nur am User-Agent
Dokumentation des Betreibers: developers.facebook.com
Amzn-User Amazon
Amzn-User
Teilweise Ja, über IP-Bereiche
Offizielle IP-Liste: developer.amazon.com/amazonbot/live-ip-addresses/Dokumentation des Betreibers: developer.amazon.com
cohere-ai Cohere
cohere-ai
Nicht dokumentiert Nein, nur am User-Agent
–

Lies hier die robots.txt-Spalte genau. Für ChatGPT-User schreibt OpenAI Because these actions are initiated by a user, robots.txt rules may not apply. (Quelle) Perplexity sagt, sein Fetcher generally ignores robots.txt rules (Quelle), und Meta, dass seiner may bypass robots.txt rules (Quelle). Wenn du diese draußen halten willst, reicht robots.txt allein nicht.

robots.txt zum Kopieren

robots.txt liegt im Wurzelverzeichnis jedes Hosts: https://example.com/robots.txt gilt nur für example.com, also brauchen www, shop und jede andere Subdomain eine eigene Kopie. Mehrere User-agent-Zeilen dürfen sich eine Regel teilen, so erlaubt es RFC 9309. Kopiere die Gruppen, die zu deiner Entscheidung passen.

Trainings-Crawler und die Steuerungen für KI-Training:

# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /

KI-Such-Crawler (nur wenn du auch aus KI-Antworten verschwinden willst):

# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /

Vom Nutzer ausgelöste Fetcher (eine höfliche Bitte; oben steht, warum sie ignoriert werden kann):

# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /

Jeder Block sperrt die ganze Website. Um einen Bereich offen zu lassen, füge in derselben Gruppe eine Allow:-Zeile mit seinem Pfad hinzu. Nach RFC 9309 gewinnt die spezifischste (längste) passende Regel, also schlägt Allow: /blog/ für Seiten unter /blog/ das Disallow: /.

robots.txt ist eine Bitte, kein Schloss

robots.txt funktioniert, weil sich anständige Crawler entscheiden, es zu lesen und zu befolgen. Einen Scraper, der es ignoriert, hält es nicht auf, und ein Scraper mit dem User Agent eines Browsers passt nie auf deine User-agent-Zeilen. Sieh robots.txt als Erklärung deines Willens, die dokumentierte Crawler respektieren, und setze es dort durch, wo es zählt.

Am Server oder an der Firewall durchsetzen

Eine User-Agent-Regel lehnt jede Anfrage ab, deren User Agent eines der Tokens enthält. Sie stoppt ehrliche Bots ab der nächsten Anfrage und auch schlampige Fälschungen. Die Regeln unten nutzen dieselben drei Gruppen wie die robots.txt-Blöcke oben und setzen damit dieselbe Entscheidung durch:

Jede Regel lässt /robots.txt lesbar, damit Crawler deinen Ausschluss weiterhin sehen.

nginx

Das erste map setzt $ai_bot auf 1, wenn der User Agent ein Token einer aktiven Gruppe enthält (~* heißt: Groß- und Kleinschreibung egal). Das zweite map reicht diesen Wert für jeden Pfad außer /robots.txt weiter. Das if antwortet diesen Anfragen dann mit 403. Um eine weitere Gruppe einzuschalten, entferne das # vor ihrer Zeile.

# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
    default 0;
    # Training crawlers (the first robots.txt block)
    "~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
    # User-triggered fetchers: uncomment to refuse them too
    # "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
    # AI search crawlers: uncomment only if you also leave AI answers
    # "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
    default $ai_bot;
    /robots.txt 0;
}

# In each server { } block that should refuse them:
if ($block_ai) { return 403; }

Apache

Jede SetEnvIfNoCase-Zeile markiert die Anfragen einer Gruppe; entferne das Kommentarzeichen vor einer Zeile, um ihre Gruppe hinzuzufügen. Die SetEnvIf-Zeile nimmt die Markierung für /robots.txt wieder weg, und Require not env lehnt markierte Anfragen mit 403 ab. In .htaccess braucht das AllowOverride FileInfo AuthConfig (oder All).

# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
    Require all granted
    Require not env block_ai
</RequireAll>

Cloudflare

Lege für jede Gruppe, die du in robots.txt blockiert hast, eine WAF-Custom-Rule mit der Aktion Block an. Jeder Ausdruck erfasst die Tokens dieser Gruppe, dazu die Bots, die Cloudflare selbst in der passenden Kategorie verifizierter Bots geprüft hat, und lässt /robots.txt in Ruhe.

Regel 1, Trainings-Crawler (der erste robots.txt-Block). Cloudflare-Kategorie: AI Crawler.

(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
 or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"

Regel 2, optional, vom Nutzer ausgelöste Fetcher. Cloudflare-Kategorie: AI Assistant.

(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
 or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"

Regel 3, optional, KI-Such-Crawler: nur wenn du auch aus KI-Antworten verschwinden willst. Cloudflare-Kategorie: AI Search. Cloudflare behält sie für bestehende Regeln, unterscheidet sie in der neueren Einteilung aber nicht mehr von normaler Suche, deshalb erledigen hier die Tokens den Großteil.

(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
 or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"

Cloudflare entscheidet, welche verifizierten Bots zu welcher Kategorie gehören, und eine Kategorie kann Bots enthalten, die nicht in unseren Tabellen stehen. Wenn eine Regel nur die aufgeführten Tokens erfassen soll, lösch ihre cf.verified_bot_category-Zeile.

Cloudflare hat dafür auch eine Einstellung im Dashboard, inzwischen AI Crawler and Agent access policies (Quelle) genannt, unter Security, Settings. Sie ordnet Bots nach Verhalten, und ihre drei Verhaltensweisen passen zu den Gruppen hier: Training zu den Trainings-Crawlern, Search zu den KI-Such-Crawlern, Agent zu den vom Nutzer ausgelösten Fetchern. Sie gilt für verifizierte Bots und für nicht verifizierte, die zu ihnen passen.

Nach IP-Bereich blockieren oder zulassen

User Agents lassen sich fälschen, die Adresse einer abgeschlossenen Anfrage nicht. Wo ein Betreiber die Adressen seiner Crawler veröffentlicht, verlinken die Tabellen die offizielle Liste. Du kannst sie auf zwei Arten nutzen: einen Crawler nur aus seinen eigenen Bereichen zulassen, sodass ein falscher GPTBot von anderswo nichts bekommt, oder diese Bereiche ganz blockieren.

Kopiere die Bereiche nicht einmal in deine Konfiguration und vergiss sie dann: Die Betreiber ändern sie. Lade die Listen regelmäßig, so wie wir: Unsere Kopien werden alle 6 Stunden erneuert, und die Seite mit den Datenquellen zeigt, wann jede zuletzt aktualisiert wurde. Für Automatisierung beantwortet unsere API dieselbe Frage pro Adresse.

Prüfen, ob ein Bot echt ist

Füge eine Adresse aus deinen Logs, und den User Agent, falls du ihn hast, in Bot prüfen ein. Es gleicht die Adresse mit den offiziellen Listen ab und, bei Betreibern, die das unterstützen, mit vorwärtsbestätigtem Reverse-DNS, und sagt dir dann, ob die Anfrage wirklich von dem Bot kommt, der er zu sein behauptet. Dieselbe Methode von Hand, für Google, steht in unserer Anleitung, wie du eine Googlebot-IP prüfst.

Fragen und Antworten

Fliegt meine Website aus der ChatGPT-Suche, wenn ich GPTBot blockiere?

Nein. OpenAI nutzt OAI-SearchBot für die Suche und GPTBot fürs Training und schreibt Each setting is independent of the others. (Quelle) Um aus den Antworten der ChatGPT-Suche zu verschwinden, musst du auch OAI-SearchBot ausschließen.

Schadet es meinem Google-Ranking, wenn ich Google-Extended blockiere?

Google schreibt Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search. (Quelle) Apple sagt dasselbe über sein Token: Site rules for Applebot-Extended are not considered in ranking for Search. (Quelle)

Halten sich KI-Crawler an robots.txt?

Die dokumentierten Crawler in den Tabellen sagen ja. Fetcher, die im Auftrag eines Nutzers handeln, sind anders: Für ChatGPT-User schreibt OpenAI, dass robots.txt rules may not apply (Quelle), und Perplexity, dass sein Fetcher generally ignores robots.txt rules (Quelle). Bots ohne öffentliche Dokumentation wie Bytespider haben gar nichts zugesagt.

Wie lange dauert es, bis eine Änderung an robots.txt wirkt?

OpenAI schreibt it can take ~24 hours from a site's robots.txt update for our systems to adjust. (Quelle) Die anderen Betreiber in den Tabellen nennen keine Zeit. Eine Server- oder Firewall-Regel gilt ab der nächsten Anfrage.

Quellen

Offizielle Dokumente, mit denen wir die Fakten in diesem Ratgeber geprüft haben.