Comprobar mi conexión

Generador de robots.txt

Marca los bots que quieres bloquear (o los únicos que quieres admitir) de nuestro directorio de 32 rastreadores y bots de IA. Obtienes un robots.txt para copiar y las reglas de Cloudflare, nginx y Apache para hacerlo cumplir.

Empieza con una plantilla

¿Qué deben hacer los bots marcados?
Buscador
Entrenamiento de IA
Peticiones de asistentes de IA
Rastreador SEO
Otros

Tus reglas

robots.txt

# Generado con iplover.com/robots-txt-generator el 2026-11-21
# robots.txt is a request: well-behaved bots follow it, others can ignore it.

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Cloudflare (regla WAF personalizada)

# Panel de Cloudflare > Security > WAF > Custom rules > Create rule > Edit expression:

(lower(http.user_agent) contains "ccbot")

# Acción: Block

nginx

# Inside your server { } block
if ($http_user_agent ~* "(CCBot)") {
    return 403;
}

Apache (.htaccess)

# .htaccess (needs mod_rewrite)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (CCBot) [NC]
RewriteRule .* - [F,L]

robots.txt es una petición que los bots respetuosos siguen. No detiene a un bot que lo ignora, y algunos bots de IA lo ignoran cuando una persona pidió la página. Para hacer cumplir un bloqueo, usa las reglas del servidor de arriba o tu firewall o CDN. Comprueban el user agent, que un bot deshonesto puede falsificar.

Registro revisado el 2026-11-11. Las listas de direcciones se descargan cada 6 horas.

Qué hace esta herramienta

robots.txt es un archivo de texto en la raíz de tu sitio (example.com/robots.txt) que indica a los rastreadores qué partes pueden descargar. Cada bot busca su nombre en una línea “User-agent” y sigue las reglas que hay debajo.

Las empresas de IA usan ya varios tipos de bots: unos recogen páginas para entrenar modelos, otros descargan una página cuando una persona pregunta a un asistente por ella y otros crean índices de búsqueda. Bloquear los bots de entrenamiento no te saca de los resultados de búsqueda normales; bloquear los rastreadores de búsqueda sí.

Cada bot, con su nombre exacto, su operador y lo que hace, está en el directorio de bots e IA.

Cómo leer los resultados

  • Elige una plantilla o marca bots y decide si los marcados se bloquean o son los únicos admitidos.
  • Copia el robots.txt y ponlo en la raíz de tu sitio, sustituyendo (o combinando con) el que ya tienes. Las reglas de cada bot se aplican a todo el sitio (Disallow: /).
  • Para hacer cumplir el bloqueo, añade la regla de Cloudflare, nginx o Apache. Responde “403 Forbidden” a los user agents que coinciden.
  • Comprueba que funciona: al cabo de unos días pega tu registro de accesos en el verificador de registros, o verifica un visitante que dice ser uno de estos bots.

Preguntas frecuentes

¿Cómo bloqueo ChatGPT y otros bots de IA en mi sitio?

Usa la plantilla “Bloquear todos los bots de IA, mantener la búsqueda”. Añade al robots.txt GPTBot (entrenamiento), ChatGPT-User (páginas pedidas por usuarios) y sus equivalentes de otras empresas de IA. OpenAI dice que GPTBot respeta robots.txt; ChatGPT-User puede no hacerlo porque una persona pidió la página, así que añade también la regla del servidor.

¿Bloquear los bots de IA perjudica mi posicionamiento en Google?

No, si mantienes los rastreadores de búsqueda. Googlebot es el que indexa tus páginas para Google Search. Google-Extended es un control aparte de robots.txt: bloquearlo impide que tu contenido se use para entrenar Gemini sin afectar a la Búsqueda.

¿robots.txt detiene a todos los bots?

No. Es una petición. Los rastreadores serios la respetan, pero los scrapers y algunos bots de IA la ignoran. Para los bots que ignoran robots.txt, usa una regla de firewall o CDN, y recuerda que un bot puede falsificar su user agent.

¿Qué diferencia hay entre bloquear y admitir solo algunos bots?

“Bloquear” enumera los bots que deben quedarse fuera y deja entrar a todos los demás. “Admitir solo” deja entrar a los bots de la lista y pide a todos los demás que no entren, incluso a los que aún no existen: es más estricto, y los buscadores nuevos también quedarán fuera.