Diffbot: cos'è, come verificarlo e come bloccarlo
Diffbot è gestito da Diffbot. Diffbot non ha pubblicato documentazione sul crawler che siamo riusciti a leggere; gli elenchi della comunità dicono che estrae dati dal web per i suoi clienti.
Dati principali
| Operatore | Diffbot |
|---|---|
| Categoria | Altro |
| Nome in robots.txt | Diffbot |
| Rispetta robots.txt | Non verificato: Non documentato |
| Si può verificare? | Non verificato: No, solo dallo user agent |
| Documentazione ufficiale | Diffbot non ne ha pubblicata nessuna che abbiamo potuto leggere. Il nome dello user agent viene dagli elenchi della comunità ai.robots.txt e crawler-user-agents. |
| Registro controllato | 11 nov 2026 |
Diffbot non pubblica per Diffbot una documentazione che abbiamo potuto leggere. Quello che sappiamo viene da elenchi della comunità, quindi consideralo non confermato.
User agent
Il suo nome in robots.txt è Diffbot.
Gli elenchi della comunità lo riconoscono da Diffbot nello user agent.
Si può verificare Diffbot?
No Non ci sono indirizzi pubblicati né documentazione dell'operatore, quindi qualsiasi visitatore può spacciarsi per Diffbot. Considera il suo user agent una dichiarazione.
Diffbot rispetta robots.txt?
Non documentato Non lo sappiamo: Diffbot non lo dice da nessuna parte che abbiamo potuto leggere. robots.txt potrebbe tenerlo fuori oppure no.
Come bloccare o consentire Diffbot
Per chiedergli di stare lontano da tutto il sito, aggiungi questo a robots.txt:
User-agent: Diffbot
Disallow: /
Per tenerlo fuori da una sola cartella:
User-agent: Diffbot
Disallow: /private/
Per consentirlo chiedendo a tutti gli altri bot di stare lontani:
User-agent: Diffbot
Allow: /
User-agent: *
Disallow: /
robots.txt è una richiesta, non un lucchetto. Per imporre il blocco aggiungi una regola nel firewall o nella CDN che cerchi Diffbot nello user agent. Ferma il vero Diffbot; un bot che mente sul proprio user agent può comunque passare.
Per creare un unico robots.txt per più bot, usa il generatore di robots.txt.
Quanto spesso passa Diffbot?
Diffbot non pubblica con che frequenza Diffbot visita un sito, e iplover non vede il tuo traffico. Il tuo log di accesso è l'unico conteggio affidabile: incollalo nella verifica log, che conta le visite di ogni crawler e segnala quelli falsi, nel tuo browser.
Documentazione ufficiale
Diffbot non ne ha pubblicata nessuna che abbiamo potuto leggere. Il nome dello user agent viene dagli elenchi della comunità ai.robots.txt e crawler-user-agents.
Registro controllato il 11 nov 2026. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.