Elenco di bot e IA · Addestramento IA
Bytespider: cos'è, come verificarlo e come bloccarlo
Bytespider è gestito da ByteDance. ByteDance, la società madre di TikTok, non ha pubblicato documentazione; gli elenchi della comunità lo indicano come un crawler che raccoglie dati per addestrare l'IA.
Dati principali
| Operatore | ByteDance |
|---|---|
| Categoria | Addestramento IA |
| Nome in robots.txt | Bytespider |
| Rispetta robots.txt | Non verificato: Non documentato |
| Si può verificare? | Non verificato: No, solo dallo user agent |
| Documentazione ufficiale | ByteDance non ne ha pubblicata nessuna che abbiamo potuto leggere. Il nome dello user agent viene dagli elenchi della comunità ai.robots.txt e crawler-user-agents. |
| Registro controllato | 11 nov 2026 |
ByteDance non pubblica per Bytespider una documentazione che abbiamo potuto leggere. Quello che sappiamo viene da elenchi della comunità, quindi consideralo non confermato.
User agent
Il suo nome in robots.txt è Bytespider.
Gli elenchi della comunità lo riconoscono da Bytespider nello user agent.
Si può verificare Bytespider?
No Non ci sono indirizzi pubblicati né documentazione dell'operatore, quindi qualsiasi visitatore può spacciarsi per Bytespider. Considera il suo user agent una dichiarazione.
Bytespider rispetta robots.txt?
Non documentato Non lo sappiamo: ByteDance non lo dice da nessuna parte che abbiamo potuto leggere. robots.txt potrebbe tenerlo fuori oppure no.
Come bloccare o consentire Bytespider
Per chiedergli di stare lontano da tutto il sito, aggiungi questo a robots.txt:
User-agent: Bytespider
Disallow: /
Per tenerlo fuori da una sola cartella:
User-agent: Bytespider
Disallow: /private/
Per consentirlo chiedendo a tutti gli altri bot di stare lontani:
User-agent: Bytespider
Allow: /
User-agent: *
Disallow: /
robots.txt è una richiesta, non un lucchetto. Per imporre il blocco aggiungi una regola nel firewall o nella CDN che cerchi Bytespider nello user agent. Ferma il vero Bytespider; un bot che mente sul proprio user agent può comunque passare.
Per creare un unico robots.txt per più bot, usa il generatore di robots.txt.
Quanto spesso passa Bytespider?
ByteDance non pubblica con che frequenza Bytespider visita un sito, e iplover non vede il tuo traffico. Il tuo log di accesso è l'unico conteggio affidabile: incollalo nella verifica log, che conta le visite di ogni crawler e segnala quelli falsi, nel tuo browser.
Documentazione ufficiale
ByteDance non ne ha pubblicata nessuna che abbiamo potuto leggere. Il nome dello user agent viene dagli elenchi della comunità ai.robots.txt e crawler-user-agents.
Registro controllato il 11 nov 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.