KI- & Bot-Verzeichnis · Sonstige
Diffbot: was er ist, wie du ihn prüfst und wie du ihn sperrst
Diffbot wird von Diffbot betrieben. Diffbot hat keine Crawler-Dokumentation veröffentlicht, die wir lesen konnten; laut Community-Listen extrahiert er Webdaten für seine Kunden.
Wichtigste Fakten
| Betreiber | Diffbot |
|---|---|
| Kategorie | Sonstige |
| Name in robots.txt | Diffbot |
| Beachtet robots.txt | Nicht geprüft: Nicht dokumentiert |
| Prüfbar? | Nicht geprüft: Nein, nur am User-Agent |
| Offizielle Dokumentation | Diffbot hat keine veröffentlicht, die wir lesen konnten. Der Name des User-Agents stammt aus den Community-Listen ai.robots.txt und crawler-user-agents. |
| Register geprüft | 11. Nov. 2026 |
Diffbot veröffentlicht zu Diffbot keine Dokumentation, die wir lesen konnten. Was wir wissen, stammt aus Community-Listen, nimm es also als unbestätigt.
User-Agent
Sein Name in robots.txt ist Diffbot.
Community-Listen erkennen ihn an Diffbot im User-Agent.
Lässt sich Diffbot prüfen?
Nein Es gibt weder veröffentlichte Adressen noch eine Dokumentation des Betreibers, also kann sich jeder Besucher als Diffbot ausgeben. Nimm seinen User-Agent als Behauptung.
Beachtet Diffbot robots.txt?
Nicht dokumentiert Wir wissen es nicht: Diffbot sagt dazu nichts, das wir lesen konnten. robots.txt hält ihn vielleicht fern, vielleicht auch nicht.
So sperrst oder erlaubst du Diffbot
Um ihn zu bitten, der ganzen Website fernzubleiben, trag das in robots.txt ein:
User-agent: Diffbot
Disallow: /
Um ihn nur aus einem Ordner fernzuhalten:
User-agent: Diffbot
Disallow: /private/
Um ihn zu erlauben und alle anderen Bots zu bitten, fernzubleiben:
User-agent: Diffbot
Allow: /
User-agent: *
Disallow: /
robots.txt ist eine Bitte, kein Schloss. Um eine Sperre durchzusetzen, leg eine Regel in Firewall oder CDN an, die Diffbot im User-Agent erkennt. Das stoppt den echten Diffbot; ein Bot, der über seinen User-Agent lügt, kommt trotzdem durch.
Für eine robots.txt für mehrere Bots auf einmal nutze den robots.txt-Generator.
Wie oft kommt Diffbot vorbei?
Diffbot veröffentlicht nicht, wie oft Diffbot eine Website besucht, und iplover sieht deinen Traffic nicht. Dein eigenes Zugriffslog ist die einzige verlässliche Zählung: Füg es in den Log-Check ein, der in deinem Browser die Besuche jedes Crawlers zählt und Fälschungen markiert.
Offizielle Dokumentation
Diffbot hat keine veröffentlicht, die wir lesen konnten. Der Name des User-Agents stammt aus den Community-Listen ai.robots.txt und crawler-user-agents.
Register geprüft am 11. Nov. 2026. Die Adresslisten werden alle 6 Stunden heruntergeladen.