Annuaire des bots et de l'IA · Entraînement d'IA
Bytespider : ce que c'est, comment le vérifier et comment le bloquer
Bytespider est exploité par ByteDance. ByteDance, la maison mère de TikTok, n'a publié aucune documentation ; les listes communautaires le présentent comme un robot qui collecte des données pour entraîner l'IA.
L'essentiel
| Opérateur | ByteDance |
|---|---|
| Catégorie | Entraînement d'IA |
| Nom dans robots.txt | Bytespider |
| Respecte robots.txt | Non vérifié: Non documenté |
| Vérifiable ? | Non vérifié: Non, user agent seulement |
| Documentation officielle | ByteDance n'en a publié aucune que nous ayons pu lire. Le nom de user agent vient des listes communautaires ai.robots.txt et crawler-user-agents. |
| Registre vérifié | 11 nov. 2026 |
ByteDance ne publie aucune documentation sur Bytespider que nous ayons pu lire. Ce que nous savons vient de listes communautaires : considérez-le comme non confirmé.
User agent
Son nom dans robots.txt est Bytespider.
Les listes communautaires le reconnaissent à Bytespider dans le user agent.
Peut-on vérifier Bytespider ?
Non Aucune adresse n'est publiée et il n'existe pas de documentation de l'opérateur : n'importe quel visiteur peut donc prétendre être Bytespider. Traitez son user agent comme une simple affirmation.
Bytespider respecte-t-il robots.txt ?
Non documenté Nous ne savons pas : ByteDance ne l'a précisé nulle part où nous aurions pu le lire. robots.txt peut l'écarter, ou non.
Comment bloquer ou autoriser Bytespider
Pour lui demander de ne pas visiter tout le site, ajoutez ceci à robots.txt :
User-agent: Bytespider
Disallow: /
Pour l'écarter d'un seul dossier :
User-agent: Bytespider
Disallow: /private/
Pour l'autoriser tout en demandant à tous les autres bots de ne pas venir :
User-agent: Bytespider
Allow: /
User-agent: *
Disallow: /
robots.txt est une demande, pas un verrou. Pour imposer un blocage, ajoutez une règle de pare-feu ou de CDN qui repère Bytespider dans le user agent. Cela arrête le vrai Bytespider ; un bot qui ment sur son user agent peut encore passer.
Pour créer un seul robots.txt pour plusieurs bots à la fois, utilisez le générateur de robots.txt.
À quelle fréquence Bytespider visite-t-il ?
ByteDance ne publie pas la fréquence des visites de Bytespider, et iplover ne voit pas votre trafic. Votre propre journal d'accès est le seul décompte fiable : collez-le dans le vérificateur de journaux, qui compte les visites de chaque robot et repère les imposteurs, dans votre navigateur.
Documentation officielle
ByteDance n'en a publié aucune que nous ayons pu lire. Le nom de user agent vient des listes communautaires ai.robots.txt et crawler-user-agents.
Registre vérifié le 11 nov. 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.