Directorio de bots e IA · Entrenamiento de IA
Bytespider: qué es, cómo verificarlo y cómo bloquearlo
Bytespider lo gestiona ByteDance. ByteDance, la empresa matriz de TikTok, no ha publicado documentación; las listas de la comunidad lo señalan como un rastreador que recoge datos para entrenar IA.
Datos clave
| Operador | ByteDance |
|---|---|
| Categoría | Entrenamiento de IA |
| Nombre en robots.txt | Bytespider |
| Respeta robots.txt | Sin comprobar: Sin documentar |
| ¿Se puede verificar? | Sin comprobar: No, solo por el user agent |
| Documentación oficial | ByteDance no ha publicado ninguna que hayamos podido leer. El nombre del user agent viene de las listas de la comunidad ai.robots.txt y crawler-user-agents. |
| Registro revisado | 11 nov 2026 |
ByteDance no publica documentación sobre Bytespider que hayamos podido leer. Lo que sabemos viene de listas de la comunidad, así que tómalo como no confirmado.
User agent
Su nombre en robots.txt es Bytespider.
Las listas de la comunidad lo reconocen por Bytespider en el user agent.
¿Se puede verificar Bytespider?
No No hay direcciones publicadas ni documentación del operador, así que cualquier visitante puede hacerse pasar por Bytespider. Toma su user agent como una simple afirmación.
¿Respeta Bytespider robots.txt?
Sin documentar No lo sabemos: ByteDance no lo dice en ningún sitio que hayamos podido leer. robots.txt puede mantenerlo fuera o no.
Cómo bloquear o permitir Bytespider
Para pedirle que no entre en todo el sitio, añade esto a robots.txt:
User-agent: Bytespider
Disallow: /
Para mantenerlo fuera de una sola carpeta:
User-agent: Bytespider
Disallow: /private/
Para permitirlo y pedir a todos los demás bots que no entren:
User-agent: Bytespider
Allow: /
User-agent: *
Disallow: /
robots.txt es una petición, no un candado. Para imponer el bloqueo, añade una regla en el cortafuegos o en la CDN que detecte Bytespider en el user agent. Eso frena al Bytespider real; un bot que miente sobre su user agent puede colarse igual.
Para crear un único robots.txt para varios bots a la vez, usa el generador de robots.txt.
¿Con qué frecuencia pasa Bytespider?
ByteDance no publica con qué frecuencia visita Bytespider un sitio, e iplover no ve tu tráfico. Tu propio log de accesos es el único recuento fiable: pégalo en el revisor de logs, que cuenta las visitas de cada rastreador y marca los falsos, en tu navegador.
Documentación oficial
ByteDance no ha publicado ninguna que hayamos podido leer. El nombre del user agent viene de las listas de la comunidad ai.robots.txt y crawler-user-agents.
Registro revisado el 11 nov 2026. Las listas de direcciones se descargan cada 6 horas.