Diretório de bots e IA
34 rastreadores e bots de IA: quem opera cada um, o que ele coleta, o nome a usar no robots.txt, se o operador diz que ele segue o robots.txt e se dá para provar que uma visita é real. Os fatos vêm da documentação de cada operador; quando não há nenhuma, dizemos isso.
Registro verificado em 11 de nov. de 2026. As listas de endereços são baixadas a cada 6 horas.
Buscador
| Bot | Operador | Nome no robots.txt | O que faz | Segue o robots.txt | Dá para verificar? |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Rastreia a web para a Pesquisa Google. | Sim | Sim, por faixas de IP e DNS reverso | |
| Bingbot | Microsoft | bingbot |
Rastreia a web para a busca do Bing. | Não documentado | Sim, por faixas de IP |
| Applebot | Apple | Applebot |
Rastreia a web para os recursos de busca da Apple na Siri, no Spotlight e no Safari; os dados também podem ajudar a treinar os modelos de base da Apple. | Sim | Sim, por faixas de IP e DNS reverso |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Rastreia a web para melhorar os resultados de busca do DuckDuckGo. | Sim | Sim, por faixas de IP |
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Encontra e cita sites nas respostas de busca do ChatGPT. Não é usado para treinar modelos. | Sim | Sim, por faixas de IP |
| PerplexityBot | Perplexity | PerplexityBot |
Encontra e cita sites nos resultados de busca do Perplexity. Segundo a Perplexity, não rastreia conteúdo para modelos de IA de base. | Sim | Sim, por faixas de IP |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Navega pela web para melhorar a qualidade dos resultados de busca para os usuários do Claude. | Sim | Sim, por faixas de IP |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Melhora a busca nos produtos e serviços da Amazon. Segundo a Amazon, não rastreia conteúdo para treinar IA generativa. | Sim | Sim, por faixas de IP |
| meta-webindexer | Meta | meta-webindexer |
Indexa páginas da web para a busca no Meta AI. | Sim | Não, só pelo user agent |
Treinamento de IA
| Bot | Operador | Nome no robots.txt | O que faz | Segue o robots.txt | Dá para verificar? |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Um controle do robots.txt, não um rastreador: decide se as páginas que o Google já rastreia podem ser usadas para treinar e embasar os modelos Gemini. Não afeta a Pesquisa Google. | Uma regra do robots.txt | Não é um rastreador | |
| Applebot-Extended | Apple | Applebot-Extended |
Um controle do robots.txt, não um rastreador: decide se as páginas rastreadas pelo Applebot podem ser usadas para treinar os modelos generativos da Apple. | Uma regra do robots.txt | Não é um rastreador |
| GPTBot | OpenAI | GPTBot |
Rastreia conteúdo que pode ser usado para treinar os modelos de IA generativa da OpenAI. | Sim | Sim, por faixas de IP |
| ClaudeBot | Anthropic | ClaudeBot |
Coleta conteúdo da web que pode contribuir para o treinamento dos modelos Claude da Anthropic. Também aceita Crawl-delay. | Sim | Sim, por faixas de IP |
| CCBot | Common Crawl | CCBot |
Monta o arquivo livre e aberto da web do Common Crawl, que qualquer pessoa pode baixar, inclusive desenvolvedores de IA. | Sim | Sim, por faixas de IP e DNS reverso |
| meta-externalagent | Meta | meta-externalagent |
Rastreia a web para usos como treinar os modelos de IA de base da Meta ou melhorar seus produtos indexando conteúdo. | Sim | Não, só pelo user agent |
| Amazonbot | Amazon | Amazonbot |
Melhora os produtos e serviços da Amazon; o conteúdo pode ser usado para treinar os modelos de IA da Amazon. | Sim | Sim, por faixas de IP |
| Bytespider | ByteDance | Bytespider |
A ByteDance, dona do TikTok, não publicou documentação; listas da comunidade o apontam como um rastreador que coleta dados para treinar IA. | Não documentado | Não, só pelo user agent |
| Timpibot | Timpi | Timpibot |
A Timpi não publicou documentação que conseguimos ler; listas da comunidade dizem que ele coleta dados para treinar modelos de IA. | Não documentado | Não, só pelo user agent |
| FacebookBot | Meta | FacebookBot |
Um token antigo de rastreador da Meta que a documentação atual da Meta não lista mais; listas da comunidade ainda o incluem para treinamento de IA. | Não documentado | Não, só pelo user agent |
Acessos de assistentes de IA
| Bot | Operador | Nome no robots.txt | O que faz | Segue o robots.txt | Dá para verificar? |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
Visita uma página quando alguém pergunta sobre ela ao ChatGPT ou a um GPT personalizado. Não rastreia a web automaticamente. | Em parte | Sim, por faixas de IP |
| Perplexity-User | Perplexity | Perplexity-User |
Visita uma página quando alguém faz ao Perplexity uma pergunta que precisa dela. Não é usado para rastrear nem para treinar modelos de IA. | Em geral, não | Sim, por faixas de IP |
| Claude-User | Anthropic | Claude-User |
Visita uma página quando um usuário do Claude faz uma pergunta que precisa dela. | Sim | Sim, por faixas de IP |
| meta-externalfetcher | Meta | meta-externalfetcher |
Busca links específicos a pedido de um usuário, por exemplo para os recursos de assistente de IA da Meta. | Em parte | Não, só pelo user agent |
| Amzn-User | Amazon | Amzn-User |
Busca páginas para ações de usuários, como responder a uma pergunta à Alexa que precisa de informação atualizada. Segundo a Amazon, não rastreia para treinar IA. | Em parte | Sim, por faixas de IP |
| cohere-ai | Cohere | cohere-ai |
A Cohere não publicou documentação que conseguimos ler; listas da comunidade dizem que ele busca páginas para responder aos pedidos dos usuários. | Não documentado | Não, só pelo user agent |
Rastreador de SEO
| Bot | Operador | Nome no robots.txt | O que faz | Segue o robots.txt | Dá para verificar? |
|---|---|---|---|---|---|
| AhrefsBot | Ahrefs | AhrefsBot, AhrefsSiteAudit |
Rastreia a web para o banco de dados de links e SEO da Ahrefs. O AhrefsSiteAudit audita sites a pedido dos donos. | Sim | Sim, por faixas de IP e DNS reverso |
| SemrushBot | Semrush | SemrushBot |
Rastreia a web para as ferramentas de SEO e marketing da Semrush. A Semrush diz que não usa blocos de IP fixos. | Sim | Não, só pelo user agent |
| DotBot | Moz | dotbot |
Rastreia a web para o Moz Link Index, base do Link Explorer e da API da Moz. | Sim | Não, só pelo user agent |
| MJ12bot | Majestic | MJ12bot |
Rastreia a web para o índice de links da Majestic. Roda em computadores de voluntários, então seus endereços estão espalhados pelo mundo. | Sim | Não, só pelo user agent |
Outros
| Bot | Operador | Nome no robots.txt | O que faz | Segue o robots.txt | Dá para verificar? |
|---|---|---|---|---|---|
| Google special-case crawlers | – | Rastreadores do Google para produtos específicos, como verificar páginas de destino de anúncios, que funcionam com base em um acordo com o site. | Em parte | Sim, por faixas de IP e DNS reverso | |
| Google user-triggered fetchers | – | Buscam uma página porque uma pessoa pediu a um produto do Google, por exemplo um leitor de feeds ou uma verificação de site. | Em geral, não | Sim, por faixas de IP e DNS reverso | |
| facebookexternalhit | Meta | facebookexternalhit |
Busca páginas compartilhadas no Facebook, no Instagram ou no Messenger para mostrar título, descrição e imagem como prévia. | Em parte | Não, só pelo user agent |
| Diffbot | Diffbot | Diffbot |
A Diffbot não publicou documentação do rastreador que conseguimos ler; listas da comunidade dizem que ele extrai dados da web para os clientes dela. | Não documentado | Não, só pelo user agent |
| omgili | Webz.io | omgili |
A página do rastreador da Webz.io recusou nosso pedido, então não conseguimos lê-la; listas da comunidade dizem que ele coleta dados da web que a Webz.io vende. | Não documentado | Não, só pelo user agent |
Como ler este diretório
“Segue o robots.txt” é o que o operador diz na própria documentação, não algo que medimos. Alguns bots buscam uma página porque uma pessoa pediu, e os operadores dizem que, nesse caso, o robots.txt pode não valer.
“Dá para verificar?” diz se o operador publica os endereços que o bot usa. Se publica, nosso verificador de bots distingue uma visita real de uma falsa. Se não, o user agent é o único sinal, e qualquer um pode copiá-lo.
Bots marcados como “Não documentado” são aqueles cujos operadores não publicam nada que pudemos ler; os nomes de user agent vêm de listas da comunidade. Todas as fontes estão na página de fontes de dados.