Meine Verbindung prüfen

KI- & Bot-Verzeichnis · Sonstige

Google special-case crawlers: was er ist, wie du ihn prüfst und wie du ihn sperrst

Google special-case crawlers wird von Google betrieben. Google-Crawler für bestimmte Produkte, etwa zur Prüfung der Zielseiten von Anzeigen, die auf Grundlage einer Vereinbarung mit der Website arbeiten.

Wichtigste Fakten

Wichtigste Fakten
Betreiber
Google
Kategorie
Sonstige
Name in robots.txt
Er hat keinen einzelnen robots.txt-Namen; Google nennt in seiner Dokumentation mehrere User-Agents.
Beachtet robots.txt
Warnung: Teilweise
Prüfbar?
OK: Ja, über IP-Bereiche und Reverse-DNS
Offizielle Dokumentation
Register geprüft
11. Nov. 2026

User-Agent

Er hat keinen einzelnen robots.txt-Namen; Google nennt in seiner Dokumentation mehrere User-Agents.

Google veröffentlicht keinen vollständigen User-Agent; achte auf Google special-case crawlers im User-Agent.

Lässt sich Google special-case crawlers prüfen?

Ja Google veröffentlicht die IP-Adressen, die Google special-case crawlers nutzt. Wir laden diese Liste alle 6 Stunden herunter: Unsere Kopie ist vom 20. Nov. 2026 und hat 272 Einträge; Google hat sie auf den 20. Nov. 2026 datiert.

Seine Adressen haben außerdem Reverse-DNS-Namen unter google.com; ein Name zählt nur, wenn er auf dieselbe Adresse zurückzeigt.

Eine Adresse aus deinen Logs prüfen

Beachtet Google special-case crawlers robots.txt?

Teilweise Nur teilweise: Google sagt, dass Google special-case crawlers robots.txt in manchen Fällen nicht beachtet, robots.txt allein hält ihn also nicht immer fern.

“may ignore robots.txt rules”

So sperrst oder erlaubst du Google special-case crawlers

Er hat keinen eigenen robots.txt-Namen; die Dokumentation von Google erklärt, welche User-Agents er nutzt.

robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an. Weil Google die Adressen von Google special-case crawlers veröffentlicht, kann die Regel sie genau treffen, sodass ein falscher Google special-case crawlers nicht als echter durchkommt.

Wie oft kommt Google special-case crawlers vorbei?

Google veröffentlicht nicht, wie oft Google special-case crawlers eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.

Offizielle Dokumentation

developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers

Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.