Directorio de bots e IA · Otros
Diffbot: qué es, cómo verificarlo y cómo bloquearlo
Diffbot lo gestiona Diffbot. Diffbot no ha publicado documentación del rastreador que hayamos podido leer; las listas de la comunidad dicen que extrae datos de la web para sus clientes.
Datos clave
| Operador | Diffbot |
|---|---|
| Categoría | Otros |
| Nombre en robots.txt | Diffbot |
| Respeta robots.txt | Sin comprobar: Sin documentar |
| ¿Se puede verificar? | Sin comprobar: No, solo por el user agent |
| Documentación oficial | Diffbot no ha publicado ninguna que hayamos podido leer. El nombre del user agent viene de las listas de la comunidad ai.robots.txt y crawler-user-agents. |
| Registro revisado | 11 nov 2026 |
Diffbot no publica documentación sobre Diffbot que hayamos podido leer. Lo que sabemos viene de listas de la comunidad, así que tómalo como no confirmado.
User agent
Su nombre en robots.txt es Diffbot.
Las listas de la comunidad lo reconocen por Diffbot en el user agent.
¿Se puede verificar Diffbot?
No No hay direcciones publicadas ni documentación del operador, así que cualquier visitante puede hacerse pasar por Diffbot. Toma su user agent como una simple afirmación.
¿Respeta Diffbot robots.txt?
Sin documentar No lo sabemos: Diffbot no lo dice en ningún sitio que hayamos podido leer. robots.txt puede mantenerlo fuera o no.
Cómo bloquear o permitir Diffbot
Para pedirle que no entre en todo el sitio, añade esto a robots.txt:
User-agent: Diffbot
Disallow: /
Para mantenerlo fuera de una sola carpeta:
User-agent: Diffbot
Disallow: /private/
Para permitirlo y pedir a todos los demás bots que no entren:
User-agent: Diffbot
Allow: /
User-agent: *
Disallow: /
robots.txt es una petición, no un candado. Para imponer el bloqueo, añade una regla en el cortafuegos o en la CDN que detecte Diffbot en el user agent. Eso frena al Diffbot real; un bot que miente sobre su user agent puede colarse igual.
Para crear un único robots.txt para varios bots a la vez, usa el generador de robots.txt.
¿Con qué frecuencia pasa Diffbot?
Diffbot no publica con qué frecuencia visita Diffbot un sitio, e iplover no ve tu tráfico. Tu propio log de accesos es el único recuento fiable: pégalo en el revisor de logs, que cuenta las visitas de cada rastreador y marca los falsos, en tu navegador.
Documentación oficial
Diffbot no ha publicado ninguna que hayamos podido leer. El nombre del user agent viene de las listas de la comunidad ai.robots.txt y crawler-user-agents.
Registro revisado el 11 nov 2026. Las listas de direcciones se descargan cada 6 horas.