Verificar minha conexão

Diretório de bots e IA

34 rastreadores e bots de IA: quem opera cada um, o que ele coleta, o nome a usar no robots.txt, se o operador diz que ele segue o robots.txt e se dá para provar que uma visita é real. Os fatos vêm da documentação de cada operador; quando não há nenhuma, dizemos isso.

Registro verificado em 11 de nov. de 2026. As listas de endereços são baixadas a cada 6 horas.

Treinamento de IA

BotOperadorNome no robots.txtO que fazSegue o robots.txtDá para verificar?
Google-Extended Google Google-Extended Um controle do robots.txt, não um rastreador: decide se as páginas que o Google já rastreia podem ser usadas para treinar e embasar os modelos Gemini. Não afeta a Pesquisa Google. Uma regra do robots.txt Não é um rastreador
Applebot-Extended Apple Applebot-Extended Um controle do robots.txt, não um rastreador: decide se as páginas rastreadas pelo Applebot podem ser usadas para treinar os modelos generativos da Apple. Uma regra do robots.txt Não é um rastreador
GPTBot OpenAI GPTBot Rastreia conteúdo que pode ser usado para treinar os modelos de IA generativa da OpenAI. Sim Sim, por faixas de IP
ClaudeBot Anthropic ClaudeBot Coleta conteúdo da web que pode contribuir para o treinamento dos modelos Claude da Anthropic. Também aceita Crawl-delay. Sim Sim, por faixas de IP
CCBot Common Crawl CCBot Monta o arquivo livre e aberto da web do Common Crawl, que qualquer pessoa pode baixar, inclusive desenvolvedores de IA. Sim Sim, por faixas de IP e DNS reverso
meta-externalagent Meta meta-externalagent Rastreia a web para usos como treinar os modelos de IA de base da Meta ou melhorar seus produtos indexando conteúdo. Sim Não, só pelo user agent
Amazonbot Amazon Amazonbot Melhora os produtos e serviços da Amazon; o conteúdo pode ser usado para treinar os modelos de IA da Amazon. Sim Sim, por faixas de IP
Bytespider ByteDance Bytespider A ByteDance, dona do TikTok, não publicou documentação; listas da comunidade o apontam como um rastreador que coleta dados para treinar IA. Não documentado Não, só pelo user agent
Timpibot Timpi Timpibot A Timpi não publicou documentação que conseguimos ler; listas da comunidade dizem que ele coleta dados para treinar modelos de IA. Não documentado Não, só pelo user agent
FacebookBot Meta FacebookBot Um token antigo de rastreador da Meta que a documentação atual da Meta não lista mais; listas da comunidade ainda o incluem para treinamento de IA. Não documentado Não, só pelo user agent

Acessos de assistentes de IA

BotOperadorNome no robots.txtO que fazSegue o robots.txtDá para verificar?
ChatGPT-User OpenAI ChatGPT-User Visita uma página quando alguém pergunta sobre ela ao ChatGPT ou a um GPT personalizado. Não rastreia a web automaticamente. Em parte Sim, por faixas de IP
Perplexity-User Perplexity Perplexity-User Visita uma página quando alguém faz ao Perplexity uma pergunta que precisa dela. Não é usado para rastrear nem para treinar modelos de IA. Em geral, não Sim, por faixas de IP
Claude-User Anthropic Claude-User Visita uma página quando um usuário do Claude faz uma pergunta que precisa dela. Sim Sim, por faixas de IP
meta-externalfetcher Meta meta-externalfetcher Busca links específicos a pedido de um usuário, por exemplo para os recursos de assistente de IA da Meta. Em parte Não, só pelo user agent
Amzn-User Amazon Amzn-User Busca páginas para ações de usuários, como responder a uma pergunta à Alexa que precisa de informação atualizada. Segundo a Amazon, não rastreia para treinar IA. Em parte Sim, por faixas de IP
cohere-ai Cohere cohere-ai A Cohere não publicou documentação que conseguimos ler; listas da comunidade dizem que ele busca páginas para responder aos pedidos dos usuários. Não documentado Não, só pelo user agent

Rastreador de SEO

BotOperadorNome no robots.txtO que fazSegue o robots.txtDá para verificar?
AhrefsBot Ahrefs AhrefsBot, AhrefsSiteAudit Rastreia a web para o banco de dados de links e SEO da Ahrefs. O AhrefsSiteAudit audita sites a pedido dos donos. Sim Sim, por faixas de IP e DNS reverso
SemrushBot Semrush SemrushBot Rastreia a web para as ferramentas de SEO e marketing da Semrush. A Semrush diz que não usa blocos de IP fixos. Sim Não, só pelo user agent
DotBot Moz dotbot Rastreia a web para o Moz Link Index, base do Link Explorer e da API da Moz. Sim Não, só pelo user agent
MJ12bot Majestic MJ12bot Rastreia a web para o índice de links da Majestic. Roda em computadores de voluntários, então seus endereços estão espalhados pelo mundo. Sim Não, só pelo user agent

Outros

BotOperadorNome no robots.txtO que fazSegue o robots.txtDá para verificar?
Google special-case crawlers Google – Rastreadores do Google para produtos específicos, como verificar páginas de destino de anúncios, que funcionam com base em um acordo com o site. Em parte Sim, por faixas de IP e DNS reverso
Google user-triggered fetchers Google – Buscam uma página porque uma pessoa pediu a um produto do Google, por exemplo um leitor de feeds ou uma verificação de site. Em geral, não Sim, por faixas de IP e DNS reverso
facebookexternalhit Meta facebookexternalhit Busca páginas compartilhadas no Facebook, no Instagram ou no Messenger para mostrar título, descrição e imagem como prévia. Em parte Não, só pelo user agent
Diffbot Diffbot Diffbot A Diffbot não publicou documentação do rastreador que conseguimos ler; listas da comunidade dizem que ele extrai dados da web para os clientes dela. Não documentado Não, só pelo user agent
omgili Webz.io omgili A página do rastreador da Webz.io recusou nosso pedido, então não conseguimos lê-la; listas da comunidade dizem que ele coleta dados da web que a Webz.io vende. Não documentado Não, só pelo user agent

Como ler este diretório

“Segue o robots.txt” é o que o operador diz na própria documentação, não algo que medimos. Alguns bots buscam uma página porque uma pessoa pediu, e os operadores dizem que, nesse caso, o robots.txt pode não valer.

“Dá para verificar?” diz se o operador publica os endereços que o bot usa. Se publica, nosso verificador de bots distingue uma visita real de uma falsa. Se não, o user agent é o único sinal, e qualquer um pode copiá-lo.

Bots marcados como “Não documentado” são aqueles cujos operadores não publicam nada que pudemos ler; os nomes de user agent vêm de listas da comunidade. Todas as fontes estão na página de fontes de dados.