Meine Verbindung prüfen

Ratgeber · Eine IP untersuchen

Wie du prüfst, ob ein Webcrawler echt ist: Googlebot, Bingbot und gefälschte Bots erkennen

Eine Anfrage in deinem Log sagt Googlebot. Vielleicht ist es Google, vielleicht ein Scraper, der Googles Namen kopiert hat, weil kaum jemand ihn zu blockieren wagt. Diese Anleitung zeigt die zwei Prüfungen, die wirklich belegen, wer eine Anfrage geschickt hat, für die wichtigsten Suchmaschinen-Crawler und die KI-Such-Crawler, mit der offiziellen IP-Liste jedes Betreibers, seinen Reverse-DNS-Namen und Regeln gegen Fälschungen.

„Zuletzt aktualisiert“ oben sagt, wann wir den Artikel zuletzt überarbeitet haben. „Register geprüft“ unter jeder Tabelle sagt, wann wir zuletzt jeden Crawler im Register mit der Dokumentation seines Betreibers abgeglichen haben; die offiziellen IP-Listen werden alle 6 Stunden neu heruntergeladen.

Warum der User Agent nichts beweist

Stell dir den User Agent wie ein Namensschild vor, das der Besucher selbst beschriftet. Echte Crawler schreiben ein ehrliches, aber nichts hindert andere daran, Googlebot auf ihres zu schreiben, und Googlebots genauen User-Agent-String zu kopieren ist eine Zeile Code. Scraper und Angriffswerkzeuge tun das absichtlich: Manche Firewalls und Rate-Limits winken bekannte Crawler durch.

Mit der Adresse ist es anders. Sie zeigt, woher die Verbindung wirklich kam, und nur der Betreiber kontrolliert die Adressen, die er veröffentlicht, und die DNS-Namen unter seiner Domain. Beide Prüfungen unten nutzen die Adresse, nie das Namensschild.

Die zwei Prüfungen, die funktionieren

Eine davon muss bestehen, je nachdem, was der Betreiber unterstützt. Manche Betreiber unterstützen beide.

1. Die veröffentlichte IP-Liste des Betreibers

Viele Betreiber veröffentlichen die Adressbereiche ihres Crawlers, meist als JSON-Datei mit IPv4- und IPv6-Präfixen. Liegt die Adresse in einem davon, kam die Anfrage aus dem Netz dieses Betreibers. Das ist die schnellste Prüfung und die richtige für eine Firewall, weil sie keine Abfrage pro Anfrage braucht. Listen ändern sich, also lade sie regelmäßig neu, statt sie einmal zu kopieren.

2. Vorwärtsbestätigtes Reverse-DNS (FCrDNS)

Das ist die Methode, die Google für seine eigenen Crawler dokumentiert. Sie braucht zwei DNS-Abfragen:

  1. Rückwärtsabfrage: Frag das DNS nach dem Namen der Adresse (ihrem PTR-Eintrag).
  2. Prüf, ob der Name auf die Domain des Betreibers endet. Bei Google: Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com. (Quelle)
  3. Vorwärtsabfrage: Frag das DNS nach der Adresse dieses Namens.
  4. Bestätige, dass sie übereinstimmt. Google: Verify that it's the same as the original accessing IP address from your logs. (Quelle)

Erst Schritt 3 macht daraus einen Beweis. Wer eine Adresse kontrolliert, kann ihren Rückwärtsnamen beliebig setzen, auch auf crawl-1-2-3-4.googlebot.com. Nur Google kann einen Namen unter googlebot.com auf eine Adresse zeigen lassen. Mit dig unter Linux oder macOS sieht Googles eigenes Beispiel so aus:

$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1

Unter Windows macht nslookup dieselben zwei Abfragen:

> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com

Bingbot-Adressen haben Rückwärtsnamen unter search.msn.com, die genauso zurückführen; das ist eine echte Abfrage einer Bingbot-Adresse. Wir prüfen Bingbot anhand der von Bing veröffentlichten Liste, verlinkt in der Tabelle unten.

$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10

Ein Werkzeug, das nur den Rückwärtsnamen (den PTR-Eintrag) zeigt, zeigt Schritt 1, und den kann jeder fälschen. Unser Werkzeug Bot prüfen macht beide Abfragen und gleicht die offiziellen Listen ab; unsere Anleitung zu Reverse-DNS erklärt PTR-Einträge allgemein.

Ist dieser Crawler echt? Eine schnelle Checkliste

Anzeichen für einen echten Crawler und für eine Fälschung
PrüfungEchter CrawlerFälschung
Der User Agent nennt einen bekannten CrawlerJaMeist ebenfalls: Das beweist nichts
Die Adresse steht in der veröffentlichten Liste des BetreibersJaNein
Der Reverse-DNS-Name liegt unter der Domain des BetreibersJa, bei Betreibern, die ihn nutzenFehlt, ist generisch oder gehört einer anderen Domain
Dieser Name führt wieder auf dieselbe AdresseJaNein oder gar nicht
Was er abruftSeiten und robots.txt, in gleichmäßigem TempoOft Login-Seiten, Admin-Pfade oder Suchformulare: ein Hinweis, kein Beweis

Die wichtigsten Crawler und wie du jeden prüfst

Zu jedem Crawler: das User-Agent-Token, wie sich belegen lässt, dass eine Anfrage von ihm kommt, die Reverse-DNS-Namen, wo der Betreiber sie nutzt, und die offiziellen Quellen. Jeder Name führt zur Seite des Crawlers in unserem Verzeichnis für KI und Bots. Die Tabellen umfassen die Crawler in unserem Register, nicht jeden Bot im Netz.

Suchmaschinen-Crawler

Suchmaschinen-Crawler. Register geprüft am 11. November 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.
BotBetreiberName in robots.txtPrüfbar?Reverse-DNS-Name endet aufQuellen
Googlebot Google
Googlebot
Ja, über IP-Bereiche und Reverse-DNS
.googlebot.com .geo.googlebot.com
Bingbot Microsoft
bingbot
Ja, über IP-Bereiche
–
Offizielle IP-Liste: bing.com/toolbox/bingbot.jsonDokumentation des Betreibers: bing.com
Applebot Apple
Applebot
Ja, über IP-Bereiche und Reverse-DNS
.applebot.apple.com
Offizielle IP-Liste: search.developer.apple.com/applebot.jsonDokumentation des Betreibers: support.apple.com
DuckDuckBot DuckDuckGo
DuckDuckBot
Ja, über IP-Bereiche
–
Offizielle IP-Liste: duckduckgo.com/duckduckbot.jsonDokumentation des Betreibers: duckduckgo.com

Google betreibt mehr als Googlebot: Spezial-Crawler und vom Nutzer ausgelöste Fetcher kommen aus eigenen veröffentlichten Listen und haben Rückwärtsnamen unter google.com oder gae.googleusercontent.com statt googlebot.com. Prüf eine Adresse anhand der Liste für den Crawler-Typ, der er zu sein behauptet.

KI-Such-Crawler

KI-Such-Crawler. Register geprüft am 11. November 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.
BotBetreiberName in robots.txtPrüfbar?Reverse-DNS-Name endet aufQuellen
OAI-SearchBot OpenAI
OAI-SearchBot
Ja, über IP-Bereiche
–
Offizielle IP-Liste: openai.com/searchbot.jsonDokumentation des Betreibers: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Ja, über IP-Bereiche
–
Offizielle IP-Liste: perplexity.ai/perplexitybot.jsonDokumentation des Betreibers: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Ja, über IP-Bereiche
–
Offizielle IP-Liste: claude.com/crawling/bots.jsonDokumentation des Betreibers: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Ja, über IP-Bereiche
–
Offizielle IP-Liste: developer.amazon.com/amazonbot/searchbot-ip-addresses/Dokumentation des Betreibers: developer.amazon.com
meta-webindexer Meta
meta-webindexer
Nein, nur am User-Agent
–
Dokumentation des Betreibers: developers.facebook.com

Sie indexieren Seiten für KI-Antwortmaschinen. Welche KI-Bots du überhaupt hereinlässt, entscheidest du mit unserer Anleitung, wie du KI-Crawler blockierst. Ein Crawler mit dem Vermerk „nur User Agent“ veröffentlicht nichts zum Abgleichen, eine Anfrage, die ihn nennt, lässt sich also weder bestätigen noch widerlegen.

So erkennst du einen gefälschten Crawler in deinen Logs

Geh von den Anfragen aus, die einen Crawler nennen, und prüf dann ihre Adressen. Eine Fälschung verrät sich meist auf eine dieser Arten:

Vorher eine Falle: Hinter einem CDN oder Reverse-Proxy protokolliert dein Server womöglich die Adresse des Proxys statt die des Besuchers. Achte darauf, die echte Client-Adresse zu prüfen (zum Beispiel CF-Connecting-IP hinter Cloudflare oder die Adresse, die dein Proxy weitergibt), sonst sieht jeder Crawler gefälscht aus.

Unser Log-Checker erledigt das für ein ganzes Log in deinem Browser: Er listet jede Adresse, was ihr User Agent behauptet und ob sich eine Crawler-Angabe bestätigen lässt.

Was du gegen gefälschte Crawler tust

Lehn Anfragen ab, die einen Crawler nennen, aber nicht von seinen Adressen kommen. Die Regeln unten tun das für Googlebot mit Googles veröffentlichter Liste; dasselbe Muster funktioniert für jeden Crawler, der eine Liste veröffentlicht, etwa Bingbot mit Bings Liste. Der echte Googlebot und normale Besucher merken davon nichts.

nginx

Der geo-Block markiert Adressen aus Googles Liste, das erste map markiert User Agents, die Googlebot sagen, und das zweite map verbindet beides: Eine Anfrage, die sich von außerhalb der Liste als Googlebot ausgibt, bekommt 403.

# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
    default 0;
    include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
    default 0;
    "~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
    default 0;
    "1:0" 1;
}

# In each server { } block:
if ($fake_googlebot) { return 403; }

Die Listendatei erzeugt und aktualisiert ein kleines Skript. Lass es täglich laufen; es installiert nie eine leere Liste, die jeden echten Googlebot abweisen würde, und lädt nginx nur neu, wenn die Konfiguration den Test besteht (nginx -t).

#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
  | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload

Apache

In Apache gilt ein -Block nur für Anfragen, deren User Agent Googlebot sagt, und seine Require ip-Zeile lässt nur Googles Bereiche zu. Das Skript unten schreibt diesen Block aus Googles Liste.

# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
  echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
  curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
    | jq -r '"    Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
  echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new"   # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful

Cloudflare

Bei Cloudflare kann eine WAF-Custom-Rule mit der Aktion Block Cloudflares eigene Liste guter Bots nutzen: Das Feld cf.client.bot ist für Anfragen bekannter guter Bots und Crawler wahr, eine Anfrage, die einen Suchmaschinen-Crawler nennt, ohne dazuzugehören, wird also abgelehnt.

(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot

Wer Fälschungen blockiert, stoppt keine echten Crawler, und das soll er auch nicht: Wer den echten Googlebot abweist, fliegt aus der Google-Suche. Willst du auch KI-Crawler draußen halten, ist das eine eigene Entscheidung, beschrieben in KI-Crawler blockieren.

Die Prüfung automatisieren

Für große Mengen rät Google zur Automatisierung: For large scale lookups, use an automatic solution (Quelle) gegen die veröffentlichten Listen. Unsere API beantwortet dieselbe Frage wie Bot prüfen, für je eine Adresse und einen User Agent, und die Seite mit den Datenquellen zeigt, wann jede offizielle Liste zuletzt heruntergeladen wurde.

Fragen und Antworten

Reicht ein Reverse-DNS-Eintrag (PTR)?

Nein. Wer einen Adressblock kontrolliert, legt dessen Reverse-DNS-Namen fest, ein PTR-Eintrag kann also jeden Namen behaupten. Erst die Vorwärtsabfrage unter der Domain des Betreibers verbindet Name und Adresse.

Kann ein echter Crawler die Prüfung nicht bestehen?

Ja, aus harmlosen Gründen: Der Betreiber hat Adressen hinzugefügt, nachdem deine Kopie der Liste heruntergeladen wurde, dein Server protokolliert die Adresse eines Proxys oder CDNs statt der des Besuchers, oder eine DNS-Abfrage ist abgelaufen. Aktualisiere Listen regelmäßig, protokolliere die echte Client-Adresse und werte einen einzelnen DNS-Fehler als unbekannt, nicht als Fälschung.

Soll ich bei jeder Anfrage DNS-Abfragen machen?

Nein. Abfragen kosten Zeit und können unter Last scheitern. Gleiche Adressen am Server oder in der Firewall mit den veröffentlichten Listen ab und nutze Reverse-DNS für Stichproben und für Crawler ohne Liste, mit zwischengespeicherten Antworten.

Lässt sich jeder Crawler prüfen?

Nein. Manche Betreiber veröffentlichen Adressen, manche nur Reverse-DNS-Namen, manche beides und einige nichts davon. Die Tabellen oben zeigen, was für wen gilt; einen Crawler, den du nicht prüfen kannst, kannst du nur nach seinem Verhalten beurteilen.

Quellen

Offizielle Dokumente, mit denen wir die Fakten in diesem Ratgeber geprüft haben.