Diretório de bots e IA · Outros
Diffbot: o que é, como verificar e como bloquear
O Diffbot é operado pela Diffbot. A Diffbot não publicou documentação do rastreador que conseguimos ler; listas da comunidade dizem que ele extrai dados da web para os clientes dela.
Dados principais
| Operador | Diffbot |
|---|---|
| Categoria | Outros |
| Nome no robots.txt | Diffbot |
| Segue o robots.txt | Não verificado: Não documentado |
| Dá para verificar? | Não verificado: Não, só pelo user agent |
| Documentação oficial | A Diffbot não publicou nenhuma que pudemos ler. O nome de user agent vem das listas da comunidade ai.robots.txt e crawler-user-agents. |
| Registro verificado | 11 de nov. de 2026 |
A Diffbot não publica nenhuma documentação sobre o Diffbot que pudemos ler. O que sabemos vem de listas da comunidade; considere não confirmado.
User agent
O nome dele no robots.txt é Diffbot.
As listas da comunidade o reconhecem por Diffbot no user agent.
Dá para verificar o Diffbot?
Não Nenhum endereço é publicado e não há documentação do operador, então qualquer visitante pode dizer que é o Diffbot. Trate o user agent como uma alegação.
O Diffbot segue o robots.txt?
Não documentado Não sabemos: a Diffbot não disse isso em nenhum lugar que pudemos ler. O robots.txt pode ou não mantê-lo fora.
Como bloquear ou permitir o Diffbot
Para pedir que ele fique fora do site inteiro, adicione isto ao robots.txt:
User-agent: Diffbot
Disallow: /
Para mantê-lo fora de uma única pasta:
User-agent: Diffbot
Disallow: /private/
Para permiti-lo e pedir a todos os outros bots que fiquem fora:
User-agent: Diffbot
Allow: /
User-agent: *
Disallow: /
O robots.txt é um pedido, não uma tranca. Para impor um bloqueio, adicione uma regra de firewall ou de CDN que procure Diffbot no user agent. Isso barra o Diffbot real; um bot que mente sobre o user agent ainda pode passar.
Para criar um único robots.txt para vários bots de uma vez, use o gerador de robots.txt.
Com que frequência o Diffbot visita?
A Diffbot não publica com que frequência o Diffbot visita um site, e o iplover não vê o seu tráfego. O seu próprio log de acesso é a única contagem confiável: cole-o no verificador de logs, que conta as visitas de cada rastreador e aponta os falsos, no seu navegador.
Documentação oficial
A Diffbot não publicou nenhuma que pudemos ler. O nome de user agent vem das listas da comunidade ai.robots.txt e crawler-user-agents.
Registro verificado em 11 de nov. de 2026. As listas de endereços são baixadas a cada 6 horas.