Gerador de robots.txt
Marque os bots a bloquear (ou os únicos a permitir) no nosso diretório de 32 rastreadores e bots de IA. Você recebe um robots.txt para copiar e as regras de Cloudflare, nginx e Apache para fazê-lo valer.
Comece por um modelo
Suas regras
robots.txt
# Gerado por iplover.com/robots-txt-generator em 2026-11-21
# robots.txt is a request: well-behaved bots follow it, others can ignore it.
User-agent: SemrushBot
Disallow: /
User-agent: *
Allow: /
Cloudflare (regra WAF personalizada)
# Painel da Cloudflare > Security > WAF > Custom rules > Create rule > Edit expression:
(lower(http.user_agent) contains "semrushbot")
# Ação: Block
nginx
# Inside your server { } block
if ($http_user_agent ~* "(SemrushBot)") {
return 403;
}
Apache (.htaccess)
# .htaccess (needs mod_rewrite)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (SemrushBot) [NC]
RewriteRule .* - [F,L]
Fora das regras do servidor: . São controles só do robots.txt, sem user agent próprio, então o robots.txt é o único lugar para configurá-los.
O robots.txt é um pedido que bots bem-comportados seguem. Ele não impede um bot que o ignora, e alguns bots de IA o ignoram quando uma pessoa pediu a página. Para impor um bloqueio, use as regras do servidor acima ou seu firewall ou CDN. Elas verificam o user agent, que um bot desonesto pode falsificar.
Registro verificado em 2026-11-11. As listas de endereços são baixadas a cada 6 horas.
O que esta ferramenta faz
O robots.txt é um arquivo de texto na raiz do seu site (example.com/robots.txt) que diz aos rastreadores quais partes eles podem buscar. Cada bot procura o próprio nome numa linha “User-agent” e segue as regras abaixo dela.
As empresas de IA hoje operam vários tipos de bot: alguns coletam páginas para treinar modelos, outros buscam uma página quando uma pessoa pergunta sobre ela a um assistente, e outros montam índices de busca. Bloquear os bots de treinamento não tira você dos resultados de busca normais; bloquear os rastreadores de busca, sim.
Cada bot, com o nome exato, o operador e o que faz, está no diretório de bots e IA.
Como ler os resultados
- Escolha um modelo ou marque bots e decida se os marcados são bloqueados ou são os únicos permitidos.
- Copie o robots.txt e coloque-o na raiz do seu site, substituindo (ou juntando com) o que você já tem. As regras de cada bot valem para o site inteiro (Disallow: /).
- Para impor o bloqueio, adicione a regra de Cloudflare, nginx ou Apache. Ela responde “403 Forbidden” aos user agents correspondentes.
- Confira se funciona: depois de alguns dias, cole seu log de acesso no verificador de logs, ou verifique um visitante que diz ser um desses bots.
Perguntas frequentes
Como bloqueio o ChatGPT e outros bots de IA no meu site?
Use o modelo “Bloquear todos os bots de IA, manter a busca”. Ele adiciona ao robots.txt o GPTBot (treinamento), o ChatGPT-User (páginas pedidas por usuários) e os equivalentes de outras empresas de IA. A OpenAI diz que o GPTBot segue o robots.txt; o ChatGPT-User pode não seguir, porque uma pessoa pediu a página, então adicione também a regra do servidor.
Bloquear bots de IA prejudica meu ranking no Google?
Não, se você mantiver os rastreadores de busca. O Googlebot é quem indexa suas páginas para a Pesquisa Google. O Google-Extended é um controle separado do robots.txt: bloqueá-lo impede que seu conteúdo seja usado para treinar o Gemini sem afetar a Pesquisa.
O robots.txt impede todos os bots?
Não. É um pedido. Rastreadores sérios o seguem, mas scrapers e alguns bots de IA o ignoram. Para bots que ignoram o robots.txt, use uma regra de firewall ou CDN, lembrando que um bot pode falsificar o user agent.
Qual a diferença entre bloquear e permitir só alguns bots?
“Bloquear” lista os bots que devem ficar fora e deixa todos os outros entrarem. “Permitir só” deixa entrar os bots listados e pede a todos os outros que fiquem fora, inclusive os que ainda não existem: é mais rígido, e buscadores novos também ficarão de fora.