robots.txt-Generator
Wähle die Bots, die gesperrt werden sollen (oder die einzigen, die zugelassen sind), aus unserem Verzeichnis mit 32 Crawlern und KI-Bots. Du bekommst eine robots.txt zum Kopieren und passende Regeln für Cloudflare, nginx und Apache, um sie durchzusetzen.
Mit einer Vorlage beginnen
Deine Regeln
robots.txt
# Erstellt mit iplover.com/robots-txt-generator am 2026-11-21
# robots.txt is a request: well-behaved bots follow it, others can ignore it.
User-agent: Googlebot
Disallow: /
User-agent: *
Allow: /
Cloudflare (eigene WAF-Regel)
# Cloudflare-Dashboard > Security > WAF > Custom rules > Create rule > Edit expression:
(lower(http.user_agent) contains "googlebot")
# Aktion: Block
nginx
# Inside your server { } block
if ($http_user_agent ~* "(Googlebot)") {
return 403;
}
Apache (.htaccess)
# .htaccess (needs mod_rewrite)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot) [NC]
RewriteRule .* - [F,L]
Nicht in den Serverregeln: . Das sind reine robots.txt-Steuerungen ohne eigenen User-Agent; sie lassen sich nur in der robots.txt setzen.
robots.txt ist eine Bitte, an die sich anständige Bots halten. Sie hält keinen Bot auf, der sie ignoriert, und manche KI-Abrufer ignorieren sie, wenn ein Mensch die Seite angefordert hat. Um eine Sperre durchzusetzen, nutze die Serverregeln oben oder deine Firewall bzw. dein CDN. Sie prüfen den User-Agent, den ein unehrlicher Bot fälschen kann.
Register geprüft am 2026-11-11. Die Adresslisten werden alle 6 Stunden heruntergeladen.
Was dieses Tool macht
robots.txt ist eine Textdatei im Wurzelverzeichnis deiner Website (example.com/robots.txt), die Crawlern sagt, welche Teile sie abrufen dürfen. Jeder Bot sucht seinen Namen in einer Zeile „User-agent“ und befolgt die Regeln darunter.
KI-Firmen betreiben inzwischen mehrere Arten von Bots: Manche sammeln Seiten zum Trainieren von Modellen, manche rufen eine Seite ab, wenn jemand einen Assistenten danach fragt, manche bauen Suchindizes. Wer die Trainings-Bots sperrt, verschwindet nicht aus den normalen Suchergebnissen; wer Such-Crawler sperrt, schon.
Jeder Bot mit genauem Namen, Betreiber und Zweck steht im KI- & Bot-Verzeichnis.
So liest du die Ergebnisse
- Wähle eine Vorlage oder einzelne Bots und lege fest, ob die gewählten gesperrt oder als einzige zugelassen werden.
- Kopiere die robots.txt in das Wurzelverzeichnis deiner Website und ersetze die vorhandene (oder führe beide zusammen). Die Regeln für jeden Bot gelten für die ganze Website (Disallow: /).
- Um die Sperre durchzusetzen, füge die Regel für Cloudflare, nginx oder Apache hinzu. Sie beantwortet passende User-Agents mit „403 Forbidden“.
- Prüfe, ob es wirkt: Füge nach ein paar Tagen dein Zugriffslog in den Log-Checker ein, oder prüfe einen Besucher, der sich als einer dieser Bots ausgibt.
Häufige Fragen
Wie sperre ich ChatGPT und andere KI-Bots auf meiner Website?
Nutze die Vorlage „Alle KI-Bots sperren, Suche behalten“. Sie trägt GPTBot (Training), ChatGPT-User (Abrufe für Nutzer) und die Entsprechungen anderer KI-Firmen in die robots.txt ein. OpenAI sagt, GPTBot hält sich an die robots.txt; ChatGPT-User eventuell nicht, weil ein Mensch die Seite angefordert hat. Füge daher auch die Serverregel hinzu.
Schadet das Sperren von KI-Bots meinem Google-Ranking?
Nicht, wenn du die Such-Crawler zulässt. Googlebot indexiert deine Seiten für die Google-Suche. Google-Extended ist eine eigene robots.txt-Steuerung: Sperrst du sie, werden deine Inhalte nicht für das Training von Gemini verwendet, die Suche bleibt unberührt.
Hält robots.txt alle Bots auf?
Nein. Es ist eine Bitte. Seriöse Crawler halten sich daran, Scraper und manche KI-Abrufer nicht. Für Bots, die die robots.txt ignorieren, brauchst du eine Firewall- oder CDN-Regel – und ein Bot kann seinen User-Agent fälschen.
Was ist der Unterschied zwischen Sperren und „nur einige zulassen“?
„Sperren“ listet die Bots auf, die draußen bleiben sollen, und lässt alle anderen herein. „Nur zulassen“ lässt die gelisteten Bots herein und bittet alle anderen fernzubleiben, auch solche, die es noch gar nicht gibt. Das ist strenger: Auch neue Suchmaschinen bleiben dann draußen.