KI- & Bot-Verzeichnis · SEO-Crawler
SemrushBot: was er ist, wie du ihn prüfst und wie du ihn sperrst
SemrushBot wird von Semrush betrieben. Durchsucht das Web für die SEO- und Marketing-Tools von Semrush. Laut Semrush nutzt er keine festen IP-Blöcke.
Wichtigste Fakten
| Betreiber | Semrush |
|---|---|
| Kategorie | SEO-Crawler |
| Name in robots.txt | SemrushBot |
| Beachtet robots.txt | OK: Ja |
| Prüfbar? | Nicht geprüft: Nein, nur am User-Agent |
| Offizielle Dokumentation | |
| Register geprüft | 11. Nov. 2026 |
User-Agent
Sein Name in robots.txt ist SemrushBot.
Semrush veröffentlicht keinen vollständigen User-Agent; achte auf SemrushBot im User-Agent.
Lässt sich SemrushBot prüfen?
Nein Semrush veröffentlicht für SemrushBot weder IP-Adressen noch Reverse-DNS-Namen, also kann sich jeder Besucher als er ausgeben. Nimm seinen User-Agent als Behauptung.
Beachtet SemrushBot robots.txt?
Ja Semrush sagt, dass SemrushBot robots.txt beachtet.
So sperrst oder erlaubst du SemrushBot
Um ihn zu bitten, der ganzen Website fernzubleiben, trag das in robots.txt ein:
User-agent: SemrushBot
Disallow: /
Um ihn nur aus einem Ordner fernzuhalten:
User-agent: SemrushBot
Disallow: /private/
Um ihn zu erlauben und alle anderen Bots zu bitten, fernzubleiben:
User-agent: SemrushBot
Allow: /
User-agent: *
Disallow: /
robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an, die SemrushBot im User-Agent erkennt. Das stoppt den echten SemrushBot; ein Bot, der über seinen User-Agent lügt, kommt trotzdem durch.
Für eine robots.txt für mehrere Bots auf einmal nutze den robots.txt-Generator.
Wie oft kommt SemrushBot vorbei?
Semrush veröffentlicht nicht, wie oft SemrushBot eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.
Offizielle Dokumentation
Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.