KI- & Bot-Verzeichnis · SEO-Crawler
DotBot: was er ist, wie du ihn prüfst und wie du ihn sperrst
DotBot wird von Moz betrieben. Durchsucht das Web für den Moz Link Index hinter Link Explorer und der Moz-API.
Wichtigste Fakten
| Betreiber | Moz |
|---|---|
| Kategorie | SEO-Crawler |
| Name in robots.txt | dotbot |
| Beachtet robots.txt | OK: Ja |
| Prüfbar? | Nicht geprüft: Nein, nur am User-Agent |
| Offizielle Dokumentation | |
| Register geprüft | 11. Nov. 2026 |
User-Agent
Sein Name in robots.txt ist dotbot.
Moz veröffentlicht keinen vollständigen User-Agent; achte auf dotbot im User-Agent.
Lässt sich DotBot prüfen?
Nein Moz veröffentlicht für DotBot weder IP-Adressen noch Reverse-DNS-Namen, also kann sich jeder Besucher als er ausgeben. Nimm seinen User-Agent als Behauptung.
Beachtet DotBot robots.txt?
Ja Moz sagt, dass DotBot robots.txt beachtet.
“we always respect the standard Robots Exclusion Protocol (aka robots.txt)”
Moz sagt, dass DotBot auch Crawl-delay beachtet, was ihn bremst, ohne ihn zu sperren.
So sperrst oder erlaubst du DotBot
Um ihn zu bitten, der ganzen Website fernzubleiben, trag das in robots.txt ein:
User-agent: dotbot
Disallow: /
Um ihn nur aus einem Ordner fernzuhalten:
User-agent: dotbot
Disallow: /private/
Um ihn zu erlauben und alle anderen Bots zu bitten, fernzubleiben:
User-agent: dotbot
Allow: /
User-agent: *
Disallow: /
robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an, die dotbot im User-Agent erkennt. Das stoppt den echten DotBot; ein Bot, der über seinen User-Agent lügt, kommt trotzdem durch.
Für eine robots.txt für mehrere Bots auf einmal nutze den robots.txt-Generator.
Wie oft kommt DotBot vorbei?
Moz veröffentlicht nicht, wie oft DotBot eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.
Offizielle Dokumentation
Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.