Annuaire des bots et de l'IA · Autres
Diffbot : ce que c'est, comment le vérifier et comment le bloquer
Diffbot est exploité par Diffbot. Diffbot n'a publié aucune documentation sur son robot que nous ayons pu lire ; selon les listes communautaires, il extrait des données du web pour ses clients.
L'essentiel
| Opérateur | Diffbot |
|---|---|
| Catégorie | Autres |
| Nom dans robots.txt | Diffbot |
| Respecte robots.txt | Non vérifié: Non documenté |
| Vérifiable ? | Non vérifié: Non, user agent seulement |
| Documentation officielle | Diffbot n'en a publié aucune que nous ayons pu lire. Le nom de user agent vient des listes communautaires ai.robots.txt et crawler-user-agents. |
| Registre vérifié | 11 nov. 2026 |
Diffbot ne publie aucune documentation sur Diffbot que nous ayons pu lire. Ce que nous savons vient de listes communautaires : considérez-le comme non confirmé.
User agent
Son nom dans robots.txt est Diffbot.
Les listes communautaires le reconnaissent à Diffbot dans le user agent.
Peut-on vérifier Diffbot ?
Non Aucune adresse n'est publiée et il n'existe pas de documentation de l'opérateur : n'importe quel visiteur peut donc prétendre être Diffbot. Traitez son user agent comme une simple affirmation.
Diffbot respecte-t-il robots.txt ?
Non documenté Nous ne savons pas : Diffbot ne l'a précisé nulle part où nous aurions pu le lire. robots.txt peut l'écarter, ou non.
Comment bloquer ou autoriser Diffbot
Pour lui demander de ne pas visiter tout le site, ajoutez ceci à robots.txt :
User-agent: Diffbot
Disallow: /
Pour l'écarter d'un seul dossier :
User-agent: Diffbot
Disallow: /private/
Pour l'autoriser tout en demandant à tous les autres bots de ne pas venir :
User-agent: Diffbot
Allow: /
User-agent: *
Disallow: /
robots.txt est une demande, pas un verrou. Pour imposer un blocage, ajoutez une règle de pare-feu ou de CDN qui repère Diffbot dans le user agent. Cela arrête le vrai Diffbot ; un bot qui ment sur son user agent peut encore passer.
Pour créer un seul robots.txt pour plusieurs bots à la fois, utilisez le générateur de robots.txt.
À quelle fréquence Diffbot visite-t-il ?
Diffbot ne publie pas la fréquence des visites de Diffbot, et iplover ne voit pas votre trafic. Votre propre journal d'accès est le seul décompte fiable : collez-le dans le vérificateur de journaux, qui compte les visites de chaque robot et repère les imposteurs, dans votre navigateur.
Documentation officielle
Diffbot n'en a publié aucune que nous ayons pu lire. Le nom de user agent vient des listes communautaires ai.robots.txt et crawler-user-agents.
Registre vérifié le 11 nov. 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.