Directorio de bots e IA
34 rastreadores y bots de IA: quién gestiona cada uno, qué recoge, el nombre que hay que usar en robots.txt, si su operador dice que respeta robots.txt y si puedes demostrar que una visita es real. Los datos vienen de la documentación de cada operador; cuando no la hay, lo decimos.
Registro revisado el 11 nov 2026. Las listas de direcciones se descargan cada 6 horas.
Buscador
| Bot | Operador | Nombre en robots.txt | Qué hace | Respeta robots.txt | ¿Se puede verificar? |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Rastrea la web para la Búsqueda de Google. | Sí | Sí, por rangos IP y DNS inverso | |
| Bingbot | Microsoft | bingbot |
Rastrea la web para el buscador Bing. | Sin documentar | Sí, por rangos IP |
| Applebot | Apple | Applebot |
Rastrea la web para las funciones de búsqueda de Apple en Siri, Spotlight y Safari; los datos también pueden servir para entrenar los modelos base de Apple. | Sí | Sí, por rangos IP y DNS inverso |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Rastrea la web para mejorar los resultados de búsqueda de DuckDuckGo. | Sí | Sí, por rangos IP |
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Encuentra y enlaza sitios en las respuestas de búsqueda de ChatGPT. No se usa para entrenar modelos. | Sí | Sí, por rangos IP |
| PerplexityBot | Perplexity | PerplexityBot |
Encuentra y enlaza sitios en los resultados de búsqueda de Perplexity. Según Perplexity, no rastrea contenido para modelos base de IA. | Sí | Sí, por rangos IP |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Recorre la web para mejorar la calidad de los resultados de búsqueda para los usuarios de Claude. | Sí | Sí, por rangos IP |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Mejora la búsqueda en los productos y servicios de Amazon. Según Amazon, no rastrea contenido para entrenar IA generativa. | Sí | Sí, por rangos IP |
| meta-webindexer | Meta | meta-webindexer |
Indexa páginas web para la búsqueda de Meta AI. | Sí | No, solo por el user agent |
Entrenamiento de IA
| Bot | Operador | Nombre en robots.txt | Qué hace | Respeta robots.txt | ¿Se puede verificar? |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Un control de robots.txt, no un rastreador: decide si las páginas que Google ya rastrea pueden usarse para entrenar y fundamentar los modelos Gemini. No afecta a la Búsqueda de Google. | Un control de robots.txt | No es un rastreador | |
| Applebot-Extended | Apple | Applebot-Extended |
Un control de robots.txt, no un rastreador: decide si las páginas que rastrea Applebot pueden usarse para entrenar los modelos generativos de Apple. | Un control de robots.txt | No es un rastreador |
| GPTBot | OpenAI | GPTBot |
Rastrea contenido que puede usarse para entrenar los modelos de IA generativa de OpenAI. | Sí | Sí, por rangos IP |
| ClaudeBot | Anthropic | ClaudeBot |
Recoge contenido web que puede contribuir a entrenar los modelos Claude de Anthropic. También admite Crawl-delay. | Sí | Sí, por rangos IP |
| CCBot | Common Crawl | CCBot |
Construye el archivo libre y abierto de la web de Common Crawl, que cualquiera puede descargar, también los desarrolladores de IA. | Sí | Sí, por rangos IP y DNS inverso |
| meta-externalagent | Meta | meta-externalagent |
Rastrea la web para usos como entrenar los modelos base de IA de Meta o mejorar sus productos indexando contenido. | Sí | No, solo por el user agent |
| Amazonbot | Amazon | Amazonbot |
Mejora los productos y servicios de Amazon; el contenido puede usarse para entrenar los modelos de IA de Amazon. | Sí | Sí, por rangos IP |
| Bytespider | ByteDance | Bytespider |
ByteDance, la empresa matriz de TikTok, no ha publicado documentación; las listas de la comunidad lo señalan como un rastreador que recoge datos para entrenar IA. | Sin documentar | No, solo por el user agent |
| Timpibot | Timpi | Timpibot |
Timpi no ha publicado documentación que hayamos podido leer; las listas de la comunidad dicen que recoge datos para entrenar modelos de IA. | Sin documentar | No, solo por el user agent |
| FacebookBot | Meta | FacebookBot |
Un token antiguo de rastreador de Meta que la documentación actual de Meta ya no incluye; las listas de la comunidad aún lo recogen para entrenamiento de IA. | Sin documentar | No, solo por el user agent |
Peticiones de asistentes de IA
| Bot | Operador | Nombre en robots.txt | Qué hace | Respeta robots.txt | ¿Se puede verificar? |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
Visita una página cuando alguien pregunta por ella a ChatGPT o a un GPT personalizado. No rastrea la web de forma automática. | En parte | Sí, por rangos IP |
| Perplexity-User | Perplexity | Perplexity-User |
Visita una página cuando alguien hace a Perplexity una pregunta que la necesita. No se usa para rastrear ni para entrenar modelos de IA. | Por lo general, no | Sí, por rangos IP |
| Claude-User | Anthropic | Claude-User |
Visita una página cuando un usuario de Claude hace una pregunta que la necesita. | Sí | Sí, por rangos IP |
| meta-externalfetcher | Meta | meta-externalfetcher |
Descarga enlaces concretos a petición de un usuario, por ejemplo para las funciones de asistente de IA de Meta. | En parte | No, solo por el user agent |
| Amzn-User | Amazon | Amzn-User |
Descarga páginas para acciones de los usuarios, como responder a una pregunta a Alexa que necesita información actual. Según Amazon, no rastrea para entrenar IA. | En parte | Sí, por rangos IP |
| cohere-ai | Cohere | cohere-ai |
Cohere no ha publicado documentación que hayamos podido leer; las listas de la comunidad dicen que descarga páginas para responder a las peticiones de los usuarios. | Sin documentar | No, solo por el user agent |
Rastreador SEO
| Bot | Operador | Nombre en robots.txt | Qué hace | Respeta robots.txt | ¿Se puede verificar? |
|---|---|---|---|---|---|
| AhrefsBot | Ahrefs | AhrefsBot, AhrefsSiteAudit |
Rastrea la web para la base de datos de enlaces y SEO de Ahrefs. AhrefsSiteAudit audita sitios a petición de sus propietarios. | Sí | Sí, por rangos IP y DNS inverso |
| SemrushBot | Semrush | SemrushBot |
Rastrea la web para las herramientas de SEO y marketing de Semrush. Semrush dice que no usa bloques de IP fijos. | Sí | No, solo por el user agent |
| DotBot | Moz | dotbot |
Rastrea la web para el Moz Link Index que alimenta Link Explorer y la API de Moz. | Sí | No, solo por el user agent |
| MJ12bot | Majestic | MJ12bot |
Rastrea la web para el índice de enlaces de Majestic. Funciona en ordenadores de voluntarios, así que sus direcciones están repartidas por todo el mundo. | Sí | No, solo por el user agent |
Otros
| Bot | Operador | Nombre en robots.txt | Qué hace | Respeta robots.txt | ¿Se puede verificar? |
|---|---|---|---|---|---|
| Google special-case crawlers | – | Rastreadores de Google para productos concretos, como revisar las páginas de destino de los anuncios, que trabajan según un acuerdo con el sitio. | En parte | Sí, por rangos IP y DNS inverso | |
| Google user-triggered fetchers | – | Descargan una página porque una persona se lo pidió a un producto de Google, por ejemplo un lector de feeds o una verificación del sitio. | Por lo general, no | Sí, por rangos IP y DNS inverso | |
| facebookexternalhit | Meta | facebookexternalhit |
Descarga las páginas compartidas en Facebook, Instagram o Messenger para mostrar su título, descripción e imagen como vista previa. | En parte | No, solo por el user agent |
| Diffbot | Diffbot | Diffbot |
Diffbot no ha publicado documentación del rastreador que hayamos podido leer; las listas de la comunidad dicen que extrae datos de la web para sus clientes. | Sin documentar | No, solo por el user agent |
| omgili | Webz.io | omgili |
La página del rastreador de Webz.io rechazó nuestra petición, así que no pudimos leerla; las listas de la comunidad dicen que recoge datos web que Webz.io vende. | Sin documentar | No, solo por el user agent |
Cómo leer este directorio
«Respeta robots.txt» es lo que dice el operador en su documentación, no algo que hayamos medido. Algunos bots descargan una página porque una persona la pidió, y sus operadores dicen que entonces robots.txt puede no aplicarse.
«¿Se puede verificar?» indica si el operador publica las direcciones que usa su bot. Si lo hace, nuestro verificador de bots distingue una visita real de una falsa. Si no, la única señal es el user agent, y cualquiera puede copiarlo.
Los bots marcados como «Sin documentar» son aquellos cuyos operadores no publican nada que hayamos podido leer; su nombre de user agent sale de listas de la comunidad. Todas las fuentes están en la página de fuentes de datos.