Comprobar mi conexión

Directorio de bots e IA

34 rastreadores y bots de IA: quién gestiona cada uno, qué recoge, el nombre que hay que usar en robots.txt, si su operador dice que respeta robots.txt y si puedes demostrar que una visita es real. Los datos vienen de la documentación de cada operador; cuando no la hay, lo decimos.

Registro revisado el 11 nov 2026. Las listas de direcciones se descargan cada 6 horas.

Entrenamiento de IA

BotOperadorNombre en robots.txtQué haceRespeta robots.txt¿Se puede verificar?
Google-Extended Google Google-Extended Un control de robots.txt, no un rastreador: decide si las páginas que Google ya rastrea pueden usarse para entrenar y fundamentar los modelos Gemini. No afecta a la Búsqueda de Google. Un control de robots.txt No es un rastreador
Applebot-Extended Apple Applebot-Extended Un control de robots.txt, no un rastreador: decide si las páginas que rastrea Applebot pueden usarse para entrenar los modelos generativos de Apple. Un control de robots.txt No es un rastreador
GPTBot OpenAI GPTBot Rastrea contenido que puede usarse para entrenar los modelos de IA generativa de OpenAI. Sí Sí, por rangos IP
ClaudeBot Anthropic ClaudeBot Recoge contenido web que puede contribuir a entrenar los modelos Claude de Anthropic. También admite Crawl-delay. Sí Sí, por rangos IP
CCBot Common Crawl CCBot Construye el archivo libre y abierto de la web de Common Crawl, que cualquiera puede descargar, también los desarrolladores de IA. Sí Sí, por rangos IP y DNS inverso
meta-externalagent Meta meta-externalagent Rastrea la web para usos como entrenar los modelos base de IA de Meta o mejorar sus productos indexando contenido. Sí No, solo por el user agent
Amazonbot Amazon Amazonbot Mejora los productos y servicios de Amazon; el contenido puede usarse para entrenar los modelos de IA de Amazon. Sí Sí, por rangos IP
Bytespider ByteDance Bytespider ByteDance, la empresa matriz de TikTok, no ha publicado documentación; las listas de la comunidad lo señalan como un rastreador que recoge datos para entrenar IA. Sin documentar No, solo por el user agent
Timpibot Timpi Timpibot Timpi no ha publicado documentación que hayamos podido leer; las listas de la comunidad dicen que recoge datos para entrenar modelos de IA. Sin documentar No, solo por el user agent
FacebookBot Meta FacebookBot Un token antiguo de rastreador de Meta que la documentación actual de Meta ya no incluye; las listas de la comunidad aún lo recogen para entrenamiento de IA. Sin documentar No, solo por el user agent

Peticiones de asistentes de IA

BotOperadorNombre en robots.txtQué haceRespeta robots.txt¿Se puede verificar?
ChatGPT-User OpenAI ChatGPT-User Visita una página cuando alguien pregunta por ella a ChatGPT o a un GPT personalizado. No rastrea la web de forma automática. En parte Sí, por rangos IP
Perplexity-User Perplexity Perplexity-User Visita una página cuando alguien hace a Perplexity una pregunta que la necesita. No se usa para rastrear ni para entrenar modelos de IA. Por lo general, no Sí, por rangos IP
Claude-User Anthropic Claude-User Visita una página cuando un usuario de Claude hace una pregunta que la necesita. Sí Sí, por rangos IP
meta-externalfetcher Meta meta-externalfetcher Descarga enlaces concretos a petición de un usuario, por ejemplo para las funciones de asistente de IA de Meta. En parte No, solo por el user agent
Amzn-User Amazon Amzn-User Descarga páginas para acciones de los usuarios, como responder a una pregunta a Alexa que necesita información actual. Según Amazon, no rastrea para entrenar IA. En parte Sí, por rangos IP
cohere-ai Cohere cohere-ai Cohere no ha publicado documentación que hayamos podido leer; las listas de la comunidad dicen que descarga páginas para responder a las peticiones de los usuarios. Sin documentar No, solo por el user agent

Rastreador SEO

BotOperadorNombre en robots.txtQué haceRespeta robots.txt¿Se puede verificar?
AhrefsBot Ahrefs AhrefsBot, AhrefsSiteAudit Rastrea la web para la base de datos de enlaces y SEO de Ahrefs. AhrefsSiteAudit audita sitios a petición de sus propietarios. Sí Sí, por rangos IP y DNS inverso
SemrushBot Semrush SemrushBot Rastrea la web para las herramientas de SEO y marketing de Semrush. Semrush dice que no usa bloques de IP fijos. Sí No, solo por el user agent
DotBot Moz dotbot Rastrea la web para el Moz Link Index que alimenta Link Explorer y la API de Moz. Sí No, solo por el user agent
MJ12bot Majestic MJ12bot Rastrea la web para el índice de enlaces de Majestic. Funciona en ordenadores de voluntarios, así que sus direcciones están repartidas por todo el mundo. Sí No, solo por el user agent

Otros

BotOperadorNombre en robots.txtQué haceRespeta robots.txt¿Se puede verificar?
Google special-case crawlers Google – Rastreadores de Google para productos concretos, como revisar las páginas de destino de los anuncios, que trabajan según un acuerdo con el sitio. En parte Sí, por rangos IP y DNS inverso
Google user-triggered fetchers Google – Descargan una página porque una persona se lo pidió a un producto de Google, por ejemplo un lector de feeds o una verificación del sitio. Por lo general, no Sí, por rangos IP y DNS inverso
facebookexternalhit Meta facebookexternalhit Descarga las páginas compartidas en Facebook, Instagram o Messenger para mostrar su título, descripción e imagen como vista previa. En parte No, solo por el user agent
Diffbot Diffbot Diffbot Diffbot no ha publicado documentación del rastreador que hayamos podido leer; las listas de la comunidad dicen que extrae datos de la web para sus clientes. Sin documentar No, solo por el user agent
omgili Webz.io omgili La página del rastreador de Webz.io rechazó nuestra petición, así que no pudimos leerla; las listas de la comunidad dicen que recoge datos web que Webz.io vende. Sin documentar No, solo por el user agent

Cómo leer este directorio

«Respeta robots.txt» es lo que dice el operador en su documentación, no algo que hayamos medido. Algunos bots descargan una página porque una persona la pidió, y sus operadores dicen que entonces robots.txt puede no aplicarse.

«¿Se puede verificar?» indica si el operador publica las direcciones que usa su bot. Si lo hace, nuestro verificador de bots distingue una visita real de una falsa. Si no, la única señal es el user agent, y cualquiera puede copiarlo.

Los bots marcados como «Sin documentar» son aquellos cuyos operadores no publican nada que hayamos podido leer; su nombre de user agent sale de listas de la comunidad. Todas las fuentes están en la página de fuentes de datos.