Ist das wirklich Googlebot? So prüfst du die IP eines Crawlers

Geschrieben von Aldo · Threat Hunter im Blue Team
Zuletzt aktualisiert am 9. November 2026 · 4 Min. Lesezeit

Eine Zeile in deinem Log sagt Googlebot/2.1, hämmert aber auf deine Login-Seite ein oder lädt stündlich deinen ganzen Produktkatalog herunter. Ist das wirklich Google? Meistens nicht, und das kannst du in einer Minute beweisen.

Ein User-Agent ist eine Textzeile, die der Client über sich selbst schreibt. Scraper und Angriffswerkzeuge kopieren den von Googlebot, weil Seitenbetreiber sich nicht trauen, ihn zu sperren, und manche Firewalls ihn durchwinken. Die Adresse ist etwas anderes. Bei einer abgeschlossenen Web-Anfrage ist sie das echte Netz, aus dem die Verbindung kam, und Google kontrolliert die DNS-Namen seiner eigenen Crawler-Adressen. Genau das prüfst du.

Der Test mit zwei Abfragen

Googles dokumentierte Methode hat zwei Schritte, und du brauchst beide:

Rückwärtsabfrage: Frag das DNS, welcher Name zur Adresse gehört. Eine echte Crawler-Adresse hat einen Namen unter googlebot.com, google.com oder googleusercontent.com.
Vorwärtsabfrage: Frag das DNS nach der Adresse dieses Namens. Es muss die Adresse sein, mit der du angefangen hast.

Schritt zwei macht das Ganze zum Beweis. Wer eine Adresse kontrolliert, kann ihren Rückwärtsnamen beliebig setzen, auch auf crawl-1-2-3-4.googlebot.com. Nur Google kann einen googlebot.com-Namen auf eine Adresse zeigen lassen.

Unter Linux oder macOS:

host 66.249.66.1
host crawl-66-249-66-1.googlebot.com

Unter Windows nimmst du nslookup 66.249.66.1 und dann nslookup crawl-66-249-66-1.googlebot.com, oder in PowerShell Resolve-DnsName 66.249.66.1.

Die Antwort für diese Adresse: Der Rückwärtsname ist crawl-66-249-66-1.googlebot.com, und dieser Name zeigt zurück auf 66.249.66.1. Beide Schritte bestanden, also ist es Google.

Die schnellere Prüfung: Googles veröffentlichte Listen

Google veröffentlicht seine Crawler-Adressen außerdem als JSON-Dateien, verlinkt auf derselben Dokumentationsseite. Die für Googlebot und die anderen üblichen Crawler heißt common-crawlers.json. Liegt eine Adresse in einem ihrer Bereiche, ist es Googles Crawler. Das lässt sich leichter automatisieren als DNS, und genau das nutzen die Tools von iplover, täglich aktualisiert.

Ein Praxisbeispiel: ein echter und ein falscher Googlebot

Hier sind zwei Zeilen aus demselben Log. Beide behaupten, Googlebot zu sein.

66.249.66.1 - - [05/Nov/2026:09:15:40 +0000] "GET /2026/09/router-settings/ HTTP/1.1" 200 21004 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
3.5.140.1 - - [05/Nov/2026:09:20:55 +0000] "GET /.env HTTP/1.1" 404 548 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Gib beide Adressen in die IP-Abfrage von iplover ein, und die Ergebnisse könnten unterschiedlicher nicht sein:

Prüfung	66.249.66.1	3.5.140.1
Urteil	Verifizierter Crawler Das ist Googlebot.	Cloud- oder Hosting-Anbieter Diese Adresse gehört zu Amazon Web Services.
Passende Liste	Google common crawlers (Googlebot)	AWS IP address ranges
Rückwärts-DNS	`crawl-66-249-66-1.googlebot.com`, vorwärts bestätigt	Kein Name
Netzinhaber	Google LLC (AS15169), ARIN	Amazon Data Services Northern Virginia (AS16509), ARIN

Der erste ist Google, nach jedem Test. Der zweite ist ein bei Amazon gemieteter Server, der „Googlebot“ in seinen User-Agent geschrieben hat, und er suchte eine .env-Datei voller Passwörter. Googles Crawler laufen nicht in Amazons Cloud. Diese Zeile ist ein getarnter Scanner.

Für den echten ist der Rat der Abfrage eindeutig: nicht sperren, denn eine Sperre kann deine Seiten aus Googles Ergebnissen entfernen.

Wenn du das findest, tu das

Was du findest	Was es bedeutet	Was zu tun ist
Beide DNS-Schritte bestanden, oder die Adresse steht in Googles Liste	Der echte Googlebot	In Ruhe lassen. Wie viel er crawlt, steuerst du über `robots.txt` und die Search Console.
Der Rückwärtsname liegt unter `googleusercontent.com`	Ein Google-Dienst, der für einen Nutzer oder Google-Cloud-Kunden abruft	Es ist Googles Netz, aber nicht unbedingt der Such-Crawler. Beurteile ihn danach, was er anfragt.
Der Rückwärtsname sieht richtig aus, aber die Vorwärtsabfrage liefert eine andere Adresse	Ein gefälschter Rückwärtsname	Als Fälschung behandeln.
Kein Rückwärtsname, oder einer ohne Bezug zu Google	Nicht Google	Wie jeden unbekannten Bot behandeln. Sperren, wenn er sich danebenbenimmt.
Ein falscher „Googlebot“ fragt nach `.env`, Backups oder `wp-login.php`	Ein Scanner, der sich hinter einem vertrauten Namen versteckt	Prüfen, dass diese Pfade 404 liefern, dann die Adresse sperren oder drosseln.

Die anderen großen Crawler

Für jeden Crawler gilt dieselbe Regel: Prüf die Adresse, nie den User-Agent. Die meisten großen Betreiber veröffentlichen ihre Crawler-Bereiche im selben JSON-Format wie Google. Diese Listen nutzt iplover:

Bing: https://www.bing.com/toolbox/bingbot.json
Apple (Applebot): https://search.developer.apple.com/applebot.json
DuckDuckGo: https://duckduckgo.com/duckduckbot.json
OpenAI (GPTBot): https://openai.com/gptbot.json

Unsere Seite zu den Datenquellen listet jede Crawler-Liste, die wir laden, und wann sie zuletzt aktualisiert wurde.

Fälschungen sperren, ohne den echten zu treffen

Bau nie eine Regel nach dem Muster „alles durchlassen, was sich Googlebot nennt“, die nur auf den User-Agent schaut. Genau auf diese Lücke setzen die Fälschungen. Hat deine Firewall oder dein CDN eine Kategorie „verifizierte Bots“ (Cloudflare hat eine), nutze sie: Sie prüft die Adresse für dich. Schreibst du eine eigene Regel, erlaube die veröffentlichten Bereiche und behandle alles andere, was sich als Crawler ausgibt, wie einen gewöhnlichen Besucher.

Und denk daran, was ein falscher Crawler ist: ein Bot, der nicht als Bot beurteilt werden will. Behandle ihn wie einen. Ob er eine Sperre wert ist, hängt davon ab, was er tut, nicht davon, welchen Namen er benutzt.

Quellen

Offizielle Dokumente, mit denen wir die Fakten in diesem Ratgeber geprüft haben.