KI- & Bot-Verzeichnis · Suchmaschine
meta-webindexer: was er ist, wie du ihn prüfst und wie du ihn sperrst
meta-webindexer wird von Meta betrieben. Indexiert Webseiten für die Suche in Meta AI.
Wichtigste Fakten
| Betreiber | Meta |
|---|---|
| Kategorie | Suchmaschine |
| Name in robots.txt | meta-webindexer |
| Beachtet robots.txt | OK: Ja |
| Prüfbar? | Nicht geprüft: Nein, nur am User-Agent |
| Offizielle Dokumentation | |
| Register geprüft | 11. Nov. 2026 |
User-Agent
Sein Name in robots.txt ist meta-webindexer.
Meta dokumentiert diesen User-Agent:
meta-webindexer/1.1
Lässt sich meta-webindexer prüfen?
Nein Meta veröffentlicht für meta-webindexer weder IP-Adressen noch Reverse-DNS-Namen, also kann sich jeder Besucher als er ausgeben. Nimm seinen User-Agent als Behauptung.
Beachtet meta-webindexer robots.txt?
Ja Meta sagt, dass meta-webindexer robots.txt beachtet.
“In order to block these crawlers, add a disallow for the relevant crawler to robots.txt.”
So sperrst oder erlaubst du meta-webindexer
Um ihn zu bitten, der ganzen Website fernzubleiben, trag das in robots.txt ein:
User-agent: meta-webindexer
Disallow: /
Um ihn nur aus einem Ordner fernzuhalten:
User-agent: meta-webindexer
Disallow: /private/
Um ihn zu erlauben und alle anderen Bots zu bitten, fernzubleiben:
User-agent: meta-webindexer
Allow: /
User-agent: *
Disallow: /
robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an, die meta-webindexer im User-Agent erkennt. Das stoppt den echten meta-webindexer; ein Bot, der über seinen User-Agent lügt, kommt trotzdem durch.
Für eine robots.txt für mehrere Bots auf einmal nutze den robots.txt-Generator.
Wie oft kommt meta-webindexer vorbei?
Meta veröffentlicht nicht, wie oft meta-webindexer eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.
Offizielle Dokumentation
developers.facebook.com/docs/sharing/webmasters/web-crawlers/
Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.