Verificar minha conexão

Guias · Investigar um IP

Como bloquear rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot e outros): faixas de IP e robots.txt

Os logs do seu servidor se enchem de GPTBot, ClaudeBot e meta-externalagent, e você quer decidir o que acontece com o seu conteúdo. Esta página cobre os principais rastreadores de IA, os do nosso registro de bots, do jeito que cada operador os documenta, com regras prontas para copiar no robots.txt, no nginx, no Apache e na Cloudflare. Surgem bots novos o tempo todo, então nenhuma lista é completa: as tabelas crescem com o registro, os mesmos dados do Verificar um bot e do gerador de robots.txt.

Duas datas nesta página: “Última atualização”, no topo, indica quando revisamos este artigo pela última vez. “Registro verificado”, embaixo de cada tabela, indica quando conferimos pela última vez cada bot do registro com a documentação do seu operador. As listas oficiais de IP por trás das tabelas são baixadas de novo a cada 6 horas.

Três tipos de bots de IA, três decisões diferentes

“Bloquear a IA” pode querer dizer três coisas, e cada uma é um bot diferente, com seu próprio token no robots.txt:

Primeiro decida o que você quer

O que bloquear para cada objetivo
Se você quer…BloqueieDeixe passar
Manter seu conteúdo fora do treinamento de IA, mas continuar nas respostas da busca com IAO grupo de treinamentoOs rastreadores de busca com IA, Googlebot, Applebot
Sair também das respostas e citações da IAOs grupos de treinamento e de busca com IAGooglebot, Bingbot, Applebot
Impedir que assistentes leiam uma página quando um usuário pedeO grupo de fetchers acionados pelo usuário, no servidor ou no firewallTodo o resto
Manter seu posicionamento na busca do Google e da AppleNunca o Googlebot ou o Applebot: use Google-Extended e Applebot-Extended no lugarGooglebot, Applebot

Os rastreadores de IA, bot por bot

Para cada bot: o operador, o token a usar no robots.txt, se o operador diz que ele respeita o robots.txt, se dá para provar que uma requisição vem mesmo dele e as fontes oficiais, ou seja, a lista de IP quando existe e a documentação do operador. Cada nome leva à página do bot no nosso diretório, com as strings de user agent completas e os detalhes da verificação.

Rastreadores de treinamento

Rastreadores de treinamento de IA e controles de treinamento. Registro verificado em 11 de novembro de 2026. As listas de endereços são baixadas a cada 6 horas.
BotOperadorNome no robots.txtSegue o robots.txtDá para verificar?Fontes
Google-Extended Google
Google-Extended
Uma regra do robots.txt Não é um rastreador
Documentação do operador: developers.google.com
Applebot-Extended Apple
Applebot-Extended
Uma regra do robots.txt Não é um rastreador
Documentação do operador: support.apple.com
GPTBot OpenAI
GPTBot
Sim Sim, por faixas de IP
Lista oficial de IPs: openai.com/gptbot.jsonDocumentação do operador: developers.openai.com
ClaudeBot Anthropic
ClaudeBot
Sim Sim, por faixas de IP
Lista oficial de IPs: claude.com/crawling/bots.jsonDocumentação do operador: support.claude.com
CCBot Common Crawl
CCBot
Sim Sim, por faixas de IP e DNS reverso
Lista oficial de IPs: index.commoncrawl.org/ccbot.jsonDocumentação do operador: commoncrawl.org
meta-externalagent Meta
meta-externalagent
Sim Não, só pelo user agent
Documentação do operador: developers.facebook.com
Amazonbot Amazon
Amazonbot
Sim Sim, por faixas de IP
Lista oficial de IPs: developer.amazon.com/amazonbot/ip-addresses/Documentação do operador: developer.amazon.com
Bytespider ByteDance
Bytespider
Não documentado Não, só pelo user agent
–
Timpibot Timpi
Timpibot
Não documentado Não, só pelo user agent
–
FacebookBot Meta
FacebookBot
Não documentado Não, só pelo user agent
–

Duas linhas são tokens, não rastreadores. O Google diz Google-Extended doesn't have a separate HTTP request user agent string. (fonte), e a Apple Applebot-Extended does not crawl webpages. (fonte) Quem baixa as páginas são o Googlebot e o Applebot; o token só decide se o resultado pode ser usado para IA. A Apple acrescenta Webpages that disallow Applebot-Extended can still be included in search results. (fonte)

O Bytespider, o Timpibot e o FacebookBot não têm documentação pública que tenhamos conseguido ler: não há uma promessa sobre o robots.txt em que confiar nem uma lista de IP para conferir. Se eles importam para você, bloqueie-os no servidor.

Rastreadores de busca com IA

Rastreadores de busca com IA. Registro verificado em 11 de novembro de 2026. As listas de endereços são baixadas a cada 6 horas.
BotOperadorNome no robots.txtSegue o robots.txtDá para verificar?Fontes
OAI-SearchBot OpenAI
OAI-SearchBot
Sim Sim, por faixas de IP
Lista oficial de IPs: openai.com/searchbot.jsonDocumentação do operador: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Sim Sim, por faixas de IP
Lista oficial de IPs: perplexity.ai/perplexitybot.jsonDocumentação do operador: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Sim Sim, por faixas de IP
Lista oficial de IPs: claude.com/crawling/bots.jsonDocumentação do operador: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Sim Sim, por faixas de IP
Lista oficial de IPs: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentação do operador: developer.amazon.com
meta-webindexer Meta
meta-webindexer
Sim Não, só pelo user agent
Documentação do operador: developers.facebook.com

A OpenAI deixa claro que as duas exclusões são separadas: a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot (fonte). Ela também diz que, se você permitir os dois, we may use the results from just one crawl for both use cases (fonte).

Fetchers acionados pelo usuário

Fetchers que agem a pedido de um usuário. Registro verificado em 11 de novembro de 2026. As listas de endereços são baixadas a cada 6 horas.
BotOperadorNome no robots.txtSegue o robots.txtDá para verificar?Fontes
ChatGPT-User OpenAI
ChatGPT-User
Em parte Sim, por faixas de IP
Lista oficial de IPs: openai.com/chatgpt-user.jsonDocumentação do operador: developers.openai.com
Perplexity-User Perplexity
Perplexity-User
Em geral, não Sim, por faixas de IP
Lista oficial de IPs: perplexity.ai/perplexity-user.jsonDocumentação do operador: docs.perplexity.ai
Claude-User Anthropic
Claude-User
Sim Sim, por faixas de IP
Lista oficial de IPs: claude.com/crawling/bots.jsonDocumentação do operador: support.claude.com
meta-externalfetcher Meta
meta-externalfetcher
Em parte Não, só pelo user agent
Documentação do operador: developers.facebook.com
Amzn-User Amazon
Amzn-User
Em parte Sim, por faixas de IP
Lista oficial de IPs: developer.amazon.com/amazonbot/live-ip-addresses/Documentação do operador: developer.amazon.com
cohere-ai Cohere
cohere-ai
Não documentado Não, só pelo user agent
–

Aqui, leia com atenção a coluna do robots.txt. Para o ChatGPT-User, a OpenAI escreve Because these actions are initiated by a user, robots.txt rules may not apply. (fonte) A Perplexity diz que o fetcher dela generally ignores robots.txt rules (fonte), e a Meta que o dela may bypass robots.txt rules (fonte). Se você quer deixá-los de fora, só o robots.txt não basta.

robots.txt pronto para copiar

O robots.txt fica na raiz de cada host: https://example.com/robots.txt vale só para example.com, então www, shop e qualquer outro subdomínio precisam da própria cópia. Várias linhas User-agent podem compartilhar uma regra, como a RFC 9309 permite. Copie os grupos que combinam com a sua decisão.

Rastreadores de treinamento e controles de treinamento de IA:

# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /

Rastreadores de busca com IA (só se você também quiser sair das respostas da IA):

# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /

Fetchers acionados pelo usuário (um pedido educado; acima está o motivo de ele poder ser ignorado):

# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /

Cada bloco exclui o site inteiro. Para deixar uma seção aberta, adicione no mesmo grupo uma linha Allow: com o caminho dela. Pela RFC 9309, vence a regra mais específica (a mais longa), então Allow: /blog/ prevalece sobre Disallow: / para as páginas em /blog/.

O robots.txt é um pedido, não um cadeado

O robots.txt funciona porque os rastreadores bem-comportados escolhem lê-lo e segui-lo. Ele não para um scraper que o ignora, e um scraper que se apresenta com o user agent de um navegador nunca bate com as suas linhas User-agent. Trate o robots.txt como a declaração da sua vontade, que os rastreadores documentados respeitam, e faça-a valer onde importa.

Faça valer no servidor ou no firewall

Uma regra por user agent recusa toda requisição cujo user agent contenha um dos tokens. Ela barra os bots honestos a partir da próxima requisição, e também as falsificações malfeitas. As regras abaixo usam os mesmos três grupos dos blocos do robots.txt, então aplicam a mesma escolha:

Toda regra deixa o /robots.txt legível, para que os rastreadores continuem vendo a sua exclusão.

nginx

O primeiro map põe $ai_bot em 1 quando o user agent contém um token de um grupo ativo (~* quer dizer uma comparação que ignora maiúsculas e minúsculas). O segundo map repassa esse valor para todo caminho, menos /robots.txt. Depois, o if responde 403 a essas requisições. Para ligar outro grupo, tire o # da frente da linha dele.

# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
    default 0;
    # Training crawlers (the first robots.txt block)
    "~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
    # User-triggered fetchers: uncomment to refuse them too
    # "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
    # AI search crawlers: uncomment only if you also leave AI answers
    # "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
    default $ai_bot;
    /robots.txt 0;
}

# In each server { } block that should refuse them:
if ($block_ai) { return 403; }

Apache

Cada linha SetEnvIfNoCase marca as requisições de um grupo; descomente uma linha para adicionar o grupo dela. A linha SetEnvIf tira a marca para /robots.txt, e Require not env recusa as requisições marcadas com 403. No .htaccess, isso exige AllowOverride FileInfo AuthConfig (ou All).

# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
    Require all granted
    Require not env block_ai
</RequireAll>

Cloudflare

Crie uma regra personalizada do WAF para cada grupo que você bloqueou no robots.txt, com a ação Block. Cada expressão pega os tokens desse grupo, mais os bots que a própria Cloudflare verificou na categoria de bots verificados correspondente, e deixa o /robots.txt em paz.

Regra 1, rastreadores de treinamento (o primeiro bloco do robots.txt). Categoria da Cloudflare: AI Crawler.

(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
 or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"

Regra 2, opcional, fetchers acionados pelo usuário. Categoria da Cloudflare: AI Assistant.

(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
 or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"

Regra 3, opcional, rastreadores de busca com IA: só se você também quiser sair das respostas da IA. Categoria da Cloudflare: AI Search, que a Cloudflare mantém para as regras existentes, mas que na classificação mais recente dela já não separa da busca comum; por isso, aqui quem faz quase todo o trabalho são os tokens.

(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
 or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"

É a Cloudflare que decide quais bots verificados entram em cada categoria, e uma categoria pode incluir bots que não estão nas nossas tabelas. Se você quer que uma regra pegue só os tokens listados, apague a linha cf.verified_bot_category dela.

A Cloudflare também tem uma configuração no painel, agora chamada AI Crawler and Agent access policies (fonte), em Security, Settings. Ela classifica os bots por comportamento, e os três comportamentos dela batem com os grupos desta página: Training com os rastreadores de treinamento, Search com os rastreadores de busca com IA e Agent com os fetchers acionados pelo usuário. Ela vale para bots verificados e para bots não verificados que correspondem a eles.

Bloquear ou permitir por faixa de IP

User agents podem ser falsificados; o endereço de uma requisição concluída, não. Quando um operador publica os endereços dos seus rastreadores, as tabelas linkam a lista oficial. Você pode usá-las de dois jeitos: permitir um rastreador só a partir das faixas dele, para que um GPTBot falso vindo de outro lugar não receba nada, ou bloquear essas faixas de vez.

Não cole as faixas na configuração uma vez e esqueça: os operadores mudam essas faixas. Baixe as listas periodicamente, como nós fazemos: nossas cópias são renovadas a cada 6 horas, e a página de fontes de dados mostra quando cada uma foi atualizada. Para automação, a nossa API responde à mesma pergunta endereço por endereço.

Confira se um bot é verdadeiro

Cole um endereço dos seus logs, e o user agent se tiver, no Verificar um bot. Ele confere o endereço nas listas oficiais e, para os operadores que permitem, no DNS reverso confirmado, e diz se a requisição vem mesmo do bot que diz ser. O mesmo método à mão, para o Google, está no nosso guia sobre como verificar um IP do Googlebot.

Perguntas e respostas

Bloquear o GPTBot tira meu site da busca do ChatGPT?

Não. A OpenAI usa o OAI-SearchBot para a busca e o GPTBot para o treinamento, e diz Each setting is independent of the others. (fonte) Para sair das respostas da busca do ChatGPT, você também precisa excluir o OAI-SearchBot.

Bloquear o Google-Extended prejudica meu posicionamento no Google?

O Google diz Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search. (fonte) A Apple diz o mesmo sobre o token dela: Site rules for Applebot-Extended are not considered in ranking for Search. (fonte)

Os rastreadores de IA respeitam o robots.txt?

Os rastreadores documentados nas tabelas dizem que sim. Os fetchers que agem em nome de um usuário são diferentes: para o ChatGPT-User, a OpenAI escreve que robots.txt rules may not apply (fonte), e a Perplexity que o fetcher dela generally ignores robots.txt rules (fonte). Bots sem documentação pública, como o Bytespider, não prometeram nada.

Quanto tempo leva para uma mudança no robots.txt valer?

A OpenAI diz it can take ~24 hours from a site's robots.txt update for our systems to adjust. (fonte) Os outros operadores das tabelas não informam um prazo. Uma regra no servidor ou no firewall vale a partir da próxima requisição.

Fontes

Documentos oficiais que usamos para conferir os fatos deste guia.