KI- & Bot-Verzeichnis · Sonstige
Google special-case crawlers: was er ist, wie du ihn prüfst und wie du ihn sperrst
Google special-case crawlers wird von Google betrieben. Google-Crawler für bestimmte Produkte, etwa zur Prüfung der Zielseiten von Anzeigen, die auf Grundlage einer Vereinbarung mit der Website arbeiten.
Wichtigste Fakten
| Betreiber | Google |
|---|---|
| Kategorie | Sonstige |
| Name in robots.txt | Er hat keinen einzelnen robots.txt-Namen; Google nennt in seiner Dokumentation mehrere User-Agents. |
| Beachtet robots.txt | Warnung: Teilweise |
| Prüfbar? | OK: Ja, über IP-Bereiche und Reverse-DNS |
| Offizielle Dokumentation | |
| Register geprüft | 11. Nov. 2026 |
User-Agent
Er hat keinen einzelnen robots.txt-Namen; Google nennt in seiner Dokumentation mehrere User-Agents.
Google veröffentlicht keinen vollständigen User-Agent; achte auf Google special-case crawlers im User-Agent.
Lässt sich Google special-case crawlers prüfen?
Ja Google veröffentlicht die IP-Adressen, die Google special-case crawlers nutzt. Wir laden diese Liste alle 6 Stunden herunter: Unsere Kopie ist vom 20. Nov. 2026 und hat 272 Einträge; Google hat sie auf den 20. Nov. 2026 datiert.
Seine Adressen haben außerdem Reverse-DNS-Namen unter google.com; ein Name zählt nur, wenn er auf dieselbe Adresse zurückzeigt.
Beachtet Google special-case crawlers robots.txt?
Teilweise Nur teilweise: Google sagt, dass Google special-case crawlers robots.txt in manchen Fällen nicht beachtet, robots.txt allein hält ihn also nicht immer fern.
“may ignore robots.txt rules”
So sperrst oder erlaubst du Google special-case crawlers
Er hat keinen eigenen robots.txt-Namen; die Dokumentation von Google erklärt, welche User-Agents er nutzt.
robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an. Weil Google die Adressen von Google special-case crawlers veröffentlicht, kann die Regel sie genau treffen, sodass ein falscher Google special-case crawlers nicht als echter durchkommt.
Wie oft kommt Google special-case crawlers vorbei?
Google veröffentlicht nicht, wie oft Google special-case crawlers eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.
Offizielle Dokumentation
developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers
Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.