Diretório de bots e IA · Treinamento de IA
Bytespider: o que é, como verificar e como bloquear
O Bytespider é operado pela ByteDance. A ByteDance, dona do TikTok, não publicou documentação; listas da comunidade o apontam como um rastreador que coleta dados para treinar IA.
Dados principais
| Operador | ByteDance |
|---|---|
| Categoria | Treinamento de IA |
| Nome no robots.txt | Bytespider |
| Segue o robots.txt | Não verificado: Não documentado |
| Dá para verificar? | Não verificado: Não, só pelo user agent |
| Documentação oficial | A ByteDance não publicou nenhuma que pudemos ler. O nome de user agent vem das listas da comunidade ai.robots.txt e crawler-user-agents. |
| Registro verificado | 11 de nov. de 2026 |
A ByteDance não publica nenhuma documentação sobre o Bytespider que pudemos ler. O que sabemos vem de listas da comunidade; considere não confirmado.
User agent
O nome dele no robots.txt é Bytespider.
As listas da comunidade o reconhecem por Bytespider no user agent.
Dá para verificar o Bytespider?
Não Nenhum endereço é publicado e não há documentação do operador, então qualquer visitante pode dizer que é o Bytespider. Trate o user agent como uma alegação.
O Bytespider segue o robots.txt?
Não documentado Não sabemos: a ByteDance não disse isso em nenhum lugar que pudemos ler. O robots.txt pode ou não mantê-lo fora.
Como bloquear ou permitir o Bytespider
Para pedir que ele fique fora do site inteiro, adicione isto ao robots.txt:
User-agent: Bytespider
Disallow: /
Para mantê-lo fora de uma única pasta:
User-agent: Bytespider
Disallow: /private/
Para permiti-lo e pedir a todos os outros bots que fiquem fora:
User-agent: Bytespider
Allow: /
User-agent: *
Disallow: /
O robots.txt é um pedido, não uma tranca. Para impor um bloqueio, adicione uma regra de firewall ou de CDN que procure Bytespider no user agent. Isso barra o Bytespider real; um bot que mente sobre o user agent ainda pode passar.
Para criar um único robots.txt para vários bots de uma vez, use o gerador de robots.txt.
Com que frequência o Bytespider visita?
A ByteDance não publica com que frequência o Bytespider visita um site, e o iplover não vê o seu tráfego. O seu próprio log de acesso é a única contagem confiável: cole-o no verificador de logs, que conta as visitas de cada rastreador e aponta os falsos, no seu navegador.
Documentação oficial
A ByteDance não publicou nenhuma que pudemos ler. O nome de user agent vem das listas da comunidade ai.robots.txt e crawler-user-agents.
Registro verificado em 11 de nov. de 2026. As listas de endereços são baixadas a cada 6 horas.