Como bloquear rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot e outros): faixas de IP e robots.txt
Os logs do seu servidor se enchem de GPTBot, ClaudeBot e meta-externalagent, e você quer decidir o que acontece com o seu conteúdo. Esta página cobre os principais rastreadores de IA, os do nosso registro de bots, do jeito que cada operador os documenta, com regras prontas para copiar no robots.txt, no nginx, no Apache e na Cloudflare. Surgem bots novos o tempo todo, então nenhuma lista é completa: as tabelas crescem com o registro, os mesmos dados do Verificar um bot e do gerador de robots.txt.
Duas datas nesta página: “Última atualização”, no topo, indica quando revisamos este artigo pela última vez. “Registro verificado”, embaixo de cada tabela, indica quando conferimos pela última vez cada bot do registro com a documentação do seu operador. As listas oficiais de IP por trás das tabelas são baixadas de novo a cada 6 horas.
Três tipos de bots de IA, três decisões diferentes
“Bloquear a IA” pode querer dizer três coisas, e cada uma é um bot diferente, com seu próprio token no robots.txt:
- Rastreadores de treinamento: coletam páginas que podem ser usadas para treinar modelos de IA, como o GPTBot, o ClaudeBot e o CCBot. O Google e a Apple usam seus rastreadores de busca normais e dão a você um token separado,
Google-ExtendedeApplebot-Extended, que controla só o uso para IA do que eles coletam. - Rastreadores de busca com IA: indexam páginas para que um mecanismo de respostas possa citá-las e linká-las, como o OAI-SearchBot para a busca do ChatGPT, o PerplexityBot e o Claude-SearchBot. Bloqueá-los deixa você fora do treinamento e também das respostas deles, links incluídos.
- Fetchers acionados pelo usuário: carregam uma página porque alguém pediu a um assistente que a lesse, por exemplo o ChatGPT-User ou o Perplexity-User. Vários operadores dizem que o robots.txt pode não valer para eles.
Primeiro decida o que você quer
| Se você quer… | Bloqueie | Deixe passar |
|---|---|---|
| Manter seu conteúdo fora do treinamento de IA, mas continuar nas respostas da busca com IA | O grupo de treinamento | Os rastreadores de busca com IA, Googlebot, Applebot |
| Sair também das respostas e citações da IA | Os grupos de treinamento e de busca com IA | Googlebot, Bingbot, Applebot |
| Impedir que assistentes leiam uma página quando um usuário pede | O grupo de fetchers acionados pelo usuário, no servidor ou no firewall | Todo o resto |
| Manter seu posicionamento na busca do Google e da Apple | Nunca o Googlebot ou o Applebot: use Google-Extended e Applebot-Extended no lugar | Googlebot, Applebot |
Os rastreadores de IA, bot por bot
Para cada bot: o operador, o token a usar no robots.txt, se o operador diz que ele respeita o robots.txt, se dá para provar que uma requisição vem mesmo dele e as fontes oficiais, ou seja, a lista de IP quando existe e a documentação do operador. Cada nome leva à página do bot no nosso diretório, com as strings de user agent completas e os detalhes da verificação.
Rastreadores de treinamento
| Bot | Operador | Nome no robots.txt | Segue o robots.txt | Dá para verificar? | Fontes |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Uma regra do robots.txt | Não é um rastreador | Documentação do operador: developers.google.com |
|
| Applebot-Extended | Apple | Applebot-Extended |
Uma regra do robots.txt | Não é um rastreador | Documentação do operador: support.apple.com |
| GPTBot | OpenAI | GPTBot |
Sim | Sim, por faixas de IP | Lista oficial de IPs: openai.com/gptbot.jsonDocumentação do operador: developers.openai.com |
| ClaudeBot | Anthropic | ClaudeBot |
Sim | Sim, por faixas de IP | Lista oficial de IPs: claude.com/crawling/bots.jsonDocumentação do operador: support.claude.com |
| CCBot | Common Crawl | CCBot |
Sim | Sim, por faixas de IP e DNS reverso | Lista oficial de IPs: index.commoncrawl.org/ccbot.jsonDocumentação do operador: commoncrawl.org |
| meta-externalagent | Meta | meta-externalagent |
Sim | Não, só pelo user agent | Documentação do operador: developers.facebook.com |
| Amazonbot | Amazon | Amazonbot |
Sim | Sim, por faixas de IP | Lista oficial de IPs: developer.amazon.com/amazonbot/ip-addresses/Documentação do operador: developer.amazon.com |
| Bytespider | ByteDance | Bytespider |
Não documentado | Não, só pelo user agent | – |
| Timpibot | Timpi | Timpibot |
Não documentado | Não, só pelo user agent | – |
| FacebookBot | Meta | FacebookBot |
Não documentado | Não, só pelo user agent | – |
Duas linhas são tokens, não rastreadores. O Google diz Google-Extended doesn't have a separate HTTP request user agent string.
(fonte), e a Apple Applebot-Extended does not crawl webpages.
(fonte) Quem baixa as páginas são o Googlebot e o Applebot; o token só decide se o resultado pode ser usado para IA. A Apple acrescenta Webpages that disallow Applebot-Extended can still be included in search results.
(fonte)
O Bytespider, o Timpibot e o FacebookBot não têm documentação pública que tenhamos conseguido ler: não há uma promessa sobre o robots.txt em que confiar nem uma lista de IP para conferir. Se eles importam para você, bloqueie-os no servidor.
Rastreadores de busca com IA
| Bot | Operador | Nome no robots.txt | Segue o robots.txt | Dá para verificar? | Fontes |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Sim | Sim, por faixas de IP | Lista oficial de IPs: openai.com/searchbot.jsonDocumentação do operador: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Sim | Sim, por faixas de IP | Lista oficial de IPs: perplexity.ai/perplexitybot.jsonDocumentação do operador: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Sim | Sim, por faixas de IP | Lista oficial de IPs: claude.com/crawling/bots.jsonDocumentação do operador: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Sim | Sim, por faixas de IP | Lista oficial de IPs: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentação do operador: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
Sim | Não, só pelo user agent | Documentação do operador: developers.facebook.com |
A OpenAI deixa claro que as duas exclusões são separadas: a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot
(fonte). Ela também diz que, se você permitir os dois, we may use the results from just one crawl for both use cases
(fonte).
Fetchers acionados pelo usuário
| Bot | Operador | Nome no robots.txt | Segue o robots.txt | Dá para verificar? | Fontes |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
Em parte | Sim, por faixas de IP | Lista oficial de IPs: openai.com/chatgpt-user.jsonDocumentação do operador: developers.openai.com |
| Perplexity-User | Perplexity | Perplexity-User |
Em geral, não | Sim, por faixas de IP | Lista oficial de IPs: perplexity.ai/perplexity-user.jsonDocumentação do operador: docs.perplexity.ai |
| Claude-User | Anthropic | Claude-User |
Sim | Sim, por faixas de IP | Lista oficial de IPs: claude.com/crawling/bots.jsonDocumentação do operador: support.claude.com |
| meta-externalfetcher | Meta | meta-externalfetcher |
Em parte | Não, só pelo user agent | Documentação do operador: developers.facebook.com |
| Amzn-User | Amazon | Amzn-User |
Em parte | Sim, por faixas de IP | Lista oficial de IPs: developer.amazon.com/amazonbot/live-ip-addresses/Documentação do operador: developer.amazon.com |
| cohere-ai | Cohere | cohere-ai |
Não documentado | Não, só pelo user agent | – |
Aqui, leia com atenção a coluna do robots.txt. Para o ChatGPT-User, a OpenAI escreve Because these actions are initiated by a user, robots.txt rules may not apply.
(fonte) A Perplexity diz que o fetcher dela generally ignores robots.txt rules
(fonte), e a Meta que o dela may bypass robots.txt rules
(fonte). Se você quer deixá-los de fora, só o robots.txt não basta.
robots.txt pronto para copiar
O robots.txt fica na raiz de cada host: https://example.com/robots.txt vale só para example.com, então www, shop e qualquer outro subdomínio precisam da própria cópia. Várias linhas User-agent podem compartilhar uma regra, como a RFC 9309 permite. Copie os grupos que combinam com a sua decisão.
Rastreadores de treinamento e controles de treinamento de IA:
# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /
Rastreadores de busca com IA (só se você também quiser sair das respostas da IA):
# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /
Fetchers acionados pelo usuário (um pedido educado; acima está o motivo de ele poder ser ignorado):
# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /
Cada bloco exclui o site inteiro. Para deixar uma seção aberta, adicione no mesmo grupo uma linha Allow: com o caminho dela. Pela RFC 9309, vence a regra mais específica (a mais longa), então Allow: /blog/ prevalece sobre Disallow: / para as páginas em /blog/.
O robots.txt é um pedido, não um cadeado
O robots.txt funciona porque os rastreadores bem-comportados escolhem lê-lo e segui-lo. Ele não para um scraper que o ignora, e um scraper que se apresenta com o user agent de um navegador nunca bate com as suas linhas User-agent. Trate o robots.txt como a declaração da sua vontade, que os rastreadores documentados respeitam, e faça-a valer onde importa.
Faça valer no servidor ou no firewall
Uma regra por user agent recusa toda requisição cujo user agent contenha um dos tokens. Ela barra os bots honestos a partir da próxima requisição, e também as falsificações malfeitas. As regras abaixo usam os mesmos três grupos dos blocos do robots.txt, então aplicam a mesma escolha:
- Os rastreadores de treinamento ficam bloqueados do jeito que as regras estão escritas. O Google-Extended e o Applebot-Extended não aparecem: eles nunca chegam numa requisição, e o bloco do robots.txt já os cobre.
- Os fetchers acionados pelo usuário e os rastreadores de busca com IA estão prontos, mas desligados. Ligue um grupo só se você também o bloqueou no robots.txt, ou pretendia: bloquear os rastreadores de busca com IA tira você das respostas da IA.
Toda regra deixa o /robots.txt legível, para que os rastreadores continuem vendo a sua exclusão.
nginx
O primeiro map põe $ai_bot em 1 quando o user agent contém um token de um grupo ativo (~* quer dizer uma comparação que ignora maiúsculas e minúsculas). O segundo map repassa esse valor para todo caminho, menos /robots.txt. Depois, o if responde 403 a essas requisições. Para ligar outro grupo, tire o # da frente da linha dele.
# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
default 0;
# Training crawlers (the first robots.txt block)
"~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
# User-triggered fetchers: uncomment to refuse them too
# "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
# AI search crawlers: uncomment only if you also leave AI answers
# "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
default $ai_bot;
/robots.txt 0;
}
# In each server { } block that should refuse them:
if ($block_ai) { return 403; }
Apache
Cada linha SetEnvIfNoCase marca as requisições de um grupo; descomente uma linha para adicionar o grupo dela. A linha SetEnvIf tira a marca para /robots.txt, e Require not env recusa as requisições marcadas com 403. No .htaccess, isso exige AllowOverride FileInfo AuthConfig (ou All).
# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
Require all granted
Require not env block_ai
</RequireAll>
Cloudflare
Crie uma regra personalizada do WAF para cada grupo que você bloqueou no robots.txt, com a ação Block. Cada expressão pega os tokens desse grupo, mais os bots que a própria Cloudflare verificou na categoria de bots verificados correspondente, e deixa o /robots.txt em paz.
Regra 1, rastreadores de treinamento (o primeiro bloco do robots.txt). Categoria da Cloudflare: AI Crawler.
(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"
Regra 2, opcional, fetchers acionados pelo usuário. Categoria da Cloudflare: AI Assistant.
(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"
Regra 3, opcional, rastreadores de busca com IA: só se você também quiser sair das respostas da IA. Categoria da Cloudflare: AI Search, que a Cloudflare mantém para as regras existentes, mas que na classificação mais recente dela já não separa da busca comum; por isso, aqui quem faz quase todo o trabalho são os tokens.
(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"
É a Cloudflare que decide quais bots verificados entram em cada categoria, e uma categoria pode incluir bots que não estão nas nossas tabelas. Se você quer que uma regra pegue só os tokens listados, apague a linha cf.verified_bot_category dela.
A Cloudflare também tem uma configuração no painel, agora chamada AI Crawler and Agent access policies
(fonte), em Security, Settings. Ela classifica os bots por comportamento, e os três comportamentos dela batem com os grupos desta página: Training com os rastreadores de treinamento, Search com os rastreadores de busca com IA e Agent com os fetchers acionados pelo usuário. Ela vale para bots verificados e para bots não verificados que correspondem a eles.
Bloquear ou permitir por faixa de IP
User agents podem ser falsificados; o endereço de uma requisição concluída, não. Quando um operador publica os endereços dos seus rastreadores, as tabelas linkam a lista oficial. Você pode usá-las de dois jeitos: permitir um rastreador só a partir das faixas dele, para que um GPTBot falso vindo de outro lugar não receba nada, ou bloquear essas faixas de vez.
Não cole as faixas na configuração uma vez e esqueça: os operadores mudam essas faixas. Baixe as listas periodicamente, como nós fazemos: nossas cópias são renovadas a cada 6 horas, e a página de fontes de dados mostra quando cada uma foi atualizada. Para automação, a nossa API responde à mesma pergunta endereço por endereço.
Confira se um bot é verdadeiro
Cole um endereço dos seus logs, e o user agent se tiver, no Verificar um bot. Ele confere o endereço nas listas oficiais e, para os operadores que permitem, no DNS reverso confirmado, e diz se a requisição vem mesmo do bot que diz ser. O mesmo método à mão, para o Google, está no nosso guia sobre como verificar um IP do Googlebot.
Procurando um rastreador específico? O diretório de bots e IA mostra o user agent, as faixas de IP e o nome no robots.txt de cada um. Para bloquear vários bots de IA de uma vez, use o gerador de robots.txt.
Perguntas e respostas
Bloquear o GPTBot tira meu site da busca do ChatGPT?
Não. A OpenAI usa o OAI-SearchBot para a busca e o GPTBot para o treinamento, e diz Each setting is independent of the others.
(fonte) Para sair das respostas da busca do ChatGPT, você também precisa excluir o OAI-SearchBot.
Bloquear o Google-Extended prejudica meu posicionamento no Google?
O Google diz Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.
(fonte) A Apple diz o mesmo sobre o token dela: Site rules for Applebot-Extended are not considered in ranking for Search.
(fonte)
Os rastreadores de IA respeitam o robots.txt?
Os rastreadores documentados nas tabelas dizem que sim. Os fetchers que agem em nome de um usuário são diferentes: para o ChatGPT-User, a OpenAI escreve que robots.txt rules may not apply
(fonte), e a Perplexity que o fetcher dela generally ignores robots.txt rules
(fonte). Bots sem documentação pública, como o Bytespider, não prometeram nada.
Quanto tempo leva para uma mudança no robots.txt valer?
A OpenAI diz it can take ~24 hours from a site's robots.txt update for our systems to adjust.
(fonte) Os outros operadores das tabelas não informam um prazo. Uma regra no servidor ou no firewall vale a partir da próxima requisição.
Fontes
Documentos oficiais que usamos para conferir os fatos deste guia.
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google Search Central: Google's common crawlers (Google-Extended)
- Apple: About Applebot (Applebot-Extended)
- Meta: Meta web crawlers
- Amazon: Amazonbot
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_rewrite
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Verified bots and their categories
- Cloudflare: cf.verified_bot_category