KI- & Bot-Verzeichnis · Abrufe für KI-Assistenten
meta-externalfetcher: was er ist, wie du ihn prüfst und wie du ihn sperrst
meta-externalfetcher wird von Meta betrieben. Ruft einzelne Links auf Wunsch eines Nutzers ab, etwa für die KI-Assistenzfunktionen von Meta.
Wichtigste Fakten
| Betreiber | Meta |
|---|---|
| Kategorie | Abrufe für KI-Assistenten |
| Name in robots.txt | meta-externalfetcher |
| Beachtet robots.txt | Warnung: Teilweise |
| Prüfbar? | Nicht geprüft: Nein, nur am User-Agent |
| Offizielle Dokumentation | |
| Register geprüft | 11. Nov. 2026 |
User-Agent
Sein Name in robots.txt ist meta-externalfetcher.
Meta dokumentiert diesen User-Agent:
meta-externalfetcher/1.1
Lässt sich meta-externalfetcher prüfen?
Nein Meta veröffentlicht für meta-externalfetcher weder IP-Adressen noch Reverse-DNS-Namen, also kann sich jeder Besucher als er ausgeben. Nimm seinen User-Agent als Behauptung.
Beachtet meta-externalfetcher robots.txt?
Teilweise Nur teilweise: Meta sagt, dass meta-externalfetcher robots.txt in manchen Fällen nicht beachtet, robots.txt allein hält ihn also nicht immer fern.
“this crawler may bypass robots.txt rules”
So sperrst oder erlaubst du meta-externalfetcher
Um ihn zu bitten, der ganzen Website fernzubleiben, trag das in robots.txt ein:
User-agent: meta-externalfetcher
Disallow: /
Um ihn nur aus einem Ordner fernzuhalten:
User-agent: meta-externalfetcher
Disallow: /private/
Um ihn zu erlauben und alle anderen Bots zu bitten, fernzubleiben:
User-agent: meta-externalfetcher
Allow: /
User-agent: *
Disallow: /
robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an, die meta-externalfetcher im User-Agent erkennt. Das stoppt den echten meta-externalfetcher; ein Bot, der über seinen User-Agent lügt, kommt trotzdem durch.
Für eine robots.txt für mehrere Bots auf einmal nutze den robots.txt-Generator.
Wie oft kommt meta-externalfetcher vorbei?
Meta veröffentlicht nicht, wie oft meta-externalfetcher eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.
Offizielle Dokumentation
developers.facebook.com/docs/sharing/webmasters/web-crawlers/
Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.