Comprobar mi conexión

Directorio de bots e IA · Otros

Diffbot: qué es, cómo verificarlo y cómo bloquearlo

Diffbot lo gestiona Diffbot. Diffbot no ha publicado documentación del rastreador que hayamos podido leer; las listas de la comunidad dicen que extrae datos de la web para sus clientes.

Datos clave

Datos clave
Operador
Diffbot
Categoría
Otros
Nombre en robots.txt
Diffbot
Respeta robots.txt
Sin comprobar: Sin documentar
¿Se puede verificar?
Sin comprobar: No, solo por el user agent
Documentación oficial
Diffbot no ha publicado ninguna que hayamos podido leer. El nombre del user agent viene de las listas de la comunidad ai.robots.txt y crawler-user-agents.
Registro revisado
11 nov 2026

Diffbot no publica documentación sobre Diffbot que hayamos podido leer. Lo que sabemos viene de listas de la comunidad, así que tómalo como no confirmado.

User agent

Su nombre en robots.txt es Diffbot.

Las listas de la comunidad lo reconocen por Diffbot en el user agent.

¿Se puede verificar Diffbot?

No No hay direcciones publicadas ni documentación del operador, así que cualquier visitante puede hacerse pasar por Diffbot. Toma su user agent como una simple afirmación.

Comprobar una dirección de tus logs

¿Respeta Diffbot robots.txt?

Sin documentar No lo sabemos: Diffbot no lo dice en ningún sitio que hayamos podido leer. robots.txt puede mantenerlo fuera o no.

Cómo bloquear o permitir Diffbot

Para pedirle que no entre en todo el sitio, añade esto a robots.txt:

User-agent: Diffbot
Disallow: /

Para mantenerlo fuera de una sola carpeta:

User-agent: Diffbot
Disallow: /private/

Para permitirlo y pedir a todos los demás bots que no entren:

User-agent: Diffbot
Allow: /

User-agent: *
Disallow: /

robots.txt es una petición, no un candado. Para imponer el bloqueo, añade una regla en el cortafuegos o en la CDN que detecte Diffbot en el user agent. Eso frena al Diffbot real; un bot que miente sobre su user agent puede colarse igual.

Para crear un único robots.txt para varios bots a la vez, usa el generador de robots.txt.

¿Con qué frecuencia pasa Diffbot?

Diffbot no publica con qué frecuencia visita Diffbot un sitio, e iplover no ve tu tráfico. Tu propio log de accesos es el único recuento fiable: pégalo en el revisor de logs, que cuenta las visitas de cada rastreador y marca los falsos, en tu navegador.

Documentación oficial

Diffbot no ha publicado ninguna que hayamos podido leer. El nombre del user agent viene de las listas de la comunidad ai.robots.txt y crawler-user-agents.

Registro revisado el 11 nov 2026. Las listas de direcciones se descargan cada 6 horas.