Verificar minha conexão

Guias · Investigar um IP

Como verificar se um rastreador web é real: Googlebot, Bingbot e como identificar bots falsos

Uma requisição no seu log diz Googlebot. Talvez seja o Google; talvez seja um scraper que copiou o nome do Google porque poucos têm coragem de bloqueá-lo. Este guia mostra as duas verificações que provam de verdade quem enviou uma requisição, para os principais rastreadores de buscadores e os rastreadores de busca com IA, com a lista oficial de IP de cada operador, os nomes de DNS reverso e regras para recusar os falsos.

“Última atualização”, no topo, indica quando revisamos este artigo pela última vez. “Registro verificado”, embaixo de cada tabela, indica quando conferimos pela última vez cada rastreador do registro com a documentação do operador; as listas oficiais de IP são baixadas de novo a cada 6 horas.

Por que o user agent não prova nada

Pense no user agent como um crachá que o próprio visitante preenche. Os rastreadores reais preenchem um crachá honesto, mas nada impede outra pessoa de escrever Googlebot no dela, e copiar a string exata do Googlebot custa uma linha de código. Scrapers e ferramentas de ataque fazem isso de propósito: alguns firewalls e limites de taxa deixam passar os rastreadores conhecidos.

Com o endereço é diferente. Ele mostra de onde a conexão veio de verdade, e só o operador controla os endereços que publica e os nomes DNS sob o próprio domínio. As duas verificações abaixo usam o endereço, nunca o crachá.

As duas verificações que funcionam

Basta uma passar, a que o operador suportar. Alguns operadores suportam as duas.

1. A lista de IP publicada pelo operador

Muitos operadores publicam as faixas de endereços do rastreador, geralmente como um arquivo JSON de prefixos IPv4 e IPv6. Se o endereço cai em uma delas, a requisição veio da rede desse operador. É a verificação mais rápida, e a certa para um firewall, porque não precisa de consulta por requisição. As listas mudam, então baixe-as de novo com frequência em vez de copiá-las uma vez.

2. DNS reverso confirmado (FCrDNS)

É o método que o Google documenta para os próprios rastreadores. São duas consultas DNS:

  1. Consulta reversa: peça ao DNS o nome do endereço (o registro PTR dele).
  2. Confira se o nome termina com o domínio do operador. Para o Google: Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com. (fonte)
  3. Consulta direta: peça ao DNS o endereço desse nome.
  4. Confirme que bate. Google: Verify that it's the same as the original accessing IP address from your logs. (fonte)

É o passo 3 que transforma isso em prova. Quem controla um endereço pode dar a ele o nome reverso que quiser, inclusive crawl-1-2-3-4.googlebot.com. Só o Google consegue fazer um nome sob googlebot.com apontar para um endereço. Com o dig no Linux ou no macOS, o exemplo do Google fica assim:

$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1

No Windows, o nslookup faz as mesmas duas consultas:

> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com

Os endereços do Bingbot têm nomes reversos sob search.msn.com que voltam do mesmo jeito; esta é uma consulta real a um endereço do Bingbot. Nós verificamos o Bingbot com a lista publicada pelo Bing, linkada na tabela abaixo.

$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10

Uma ferramenta que mostra só o nome reverso (o registro PTR) está mostrando o passo 1, que qualquer um pode falsificar. A nossa ferramenta Verificar um bot faz as duas consultas e confere as listas oficiais; o nosso guia sobre DNS reverso explica os registros PTR em geral.

Este rastreador é real? Uma verificação rápida

Sinais de um rastreador real e de um falso
VerificaçãoRastreador realFalso
O user agent cita um rastreador conhecidoSimGeralmente também: isso não prova nada
O endereço está na lista publicada pelo operadorSimNão
O nome de DNS reverso está sob o domínio do operadorSim, nos operadores que o usamAusente, genérico ou de outro domínio
Esse nome aponta de volta para o mesmo endereçoSimNão, ou não resolve
O que ele pedePáginas e robots.txt, em ritmo constanteMuitas vezes páginas de login, caminhos de administração ou formulários de busca: um indício, não uma prova

Os principais rastreadores e como verificar cada um

Para cada rastreador: o token do user agent, como provar que uma requisição vem dele, os nomes de DNS reverso quando o operador os usa e as fontes oficiais. Cada nome leva à página do rastreador no nosso diretório de IA e bots. As tabelas cobrem os rastreadores do nosso registro, não todos os bots da web.

Rastreadores de buscadores

Rastreadores de buscadores. Registro verificado em 11 de novembro de 2026. As listas de endereços são baixadas a cada 6 horas.
BotOperadorNome no robots.txtDá para verificar?O nome de DNS reverso termina emFontes
Googlebot Google
Googlebot
Sim, por faixas de IP e DNS reverso
.googlebot.com .geo.googlebot.com
Bingbot Microsoft
bingbot
Sim, por faixas de IP
–
Lista oficial de IPs: bing.com/toolbox/bingbot.jsonDocumentação do operador: bing.com
Applebot Apple
Applebot
Sim, por faixas de IP e DNS reverso
.applebot.apple.com
Lista oficial de IPs: search.developer.apple.com/applebot.jsonDocumentação do operador: support.apple.com
DuckDuckBot DuckDuckGo
DuckDuckBot
Sim, por faixas de IP
–
Lista oficial de IPs: duckduckgo.com/duckduckbot.jsonDocumentação do operador: duckduckgo.com

O Google tem mais que o Googlebot: os rastreadores para casos especiais e os fetchers acionados pelo usuário vêm de listas publicadas à parte e têm nomes reversos sob google.com ou gae.googleusercontent.com em vez de googlebot.com. Confira um endereço com a lista do tipo de rastreador que ele diz ser.

Rastreadores de busca com IA

Rastreadores de busca com IA. Registro verificado em 11 de novembro de 2026. As listas de endereços são baixadas a cada 6 horas.
BotOperadorNome no robots.txtDá para verificar?O nome de DNS reverso termina emFontes
OAI-SearchBot OpenAI
OAI-SearchBot
Sim, por faixas de IP
–
Lista oficial de IPs: openai.com/searchbot.jsonDocumentação do operador: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Sim, por faixas de IP
–
Lista oficial de IPs: perplexity.ai/perplexitybot.jsonDocumentação do operador: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Sim, por faixas de IP
–
Lista oficial de IPs: claude.com/crawling/bots.jsonDocumentação do operador: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Sim, por faixas de IP
–
Lista oficial de IPs: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentação do operador: developer.amazon.com
meta-webindexer Meta
meta-webindexer
Não, só pelo user agent
–
Documentação do operador: developers.facebook.com

Eles indexam páginas para os mecanismos de respostas com IA. Para decidir quais bots de IA deixar entrar, veja o nosso guia sobre como bloquear rastreadores de IA. Um rastreador marcado como “só user agent” não publica nada para conferir, então uma requisição que o cita não pode ser provada em nenhum sentido.

Como identificar um rastreador falso nos seus logs

Comece pelas requisições que citam um rastreador e depois verifique os endereços delas. Um falso costuma se entregar de uma destas formas:

Antes, uma armadilha: atrás de uma CDN ou de um proxy reverso, o seu servidor pode registrar o endereço do proxy em vez do visitante. Garanta que você está verificando o endereço real do cliente (por exemplo CF-Connecting-IP atrás da Cloudflare, ou o endereço que o seu proxy repassa), senão todo rastreador vai parecer falso.

O nosso verificador de logs faz isso com um log inteiro no seu navegador: lista cada endereço, o que o user agent dele afirma e se dá para confirmar que é o rastreador que diz ser.

O que fazer com rastreadores falsos

Recuse as requisições que citam um rastreador, mas não vêm dos endereços dele. As regras abaixo fazem isso para o Googlebot com a lista publicada pelo Google; o mesmo padrão serve para qualquer rastreador que publique uma, como o Bingbot com a lista do Bing. O Googlebot real e os visitantes comuns não são afetados.

nginx

O bloco geo marca os endereços da lista do Google, o primeiro map marca os user agents que dizem Googlebot, e o segundo map combina os dois: uma requisição que se diz Googlebot de fora da lista recebe 403.

# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
    default 0;
    include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
    default 0;
    "~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
    default 0;
    "1:0" 1;
}

# In each server { } block:
if ($fake_googlebot) { return 403; }

O arquivo da lista é criado, e mantido atualizado, por um pequeno script. Rode-o todo dia: ele se recusa a instalar uma lista vazia, que recusaria todo Googlebot real, e só recarrega o nginx se a configuração passar no teste (nginx -t).

#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
  | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload

Apache

No Apache, um bloco vale só para as requisições cujo user agent diz Googlebot, e a linha Require ip dele só permite as faixas do Google. O script abaixo escreve esse bloco a partir da lista do Google.

# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
  echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
  curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
    | jq -r '"    Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
  echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new"   # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful

Cloudflare

Na Cloudflare, uma regra personalizada do WAF com a ação Block pode usar a lista de bots bons da própria Cloudflare: o campo cf.client.bot é verdadeiro para requisições de bots e rastreadores bons conhecidos, então uma requisição que cita um rastreador de buscador sem ser um é recusada.

(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot

Bloquear os falsos não para os rastreadores reais, e não deve parar: recusar o Googlebot real tira as suas páginas da Pesquisa Google. Se você também quer deixar os rastreadores de IA de fora, essa é uma decisão à parte, explicada em como bloquear rastreadores de IA.

Automatize a verificação

Para grandes volumes, o Google recomenda automatizar: For large scale lookups, use an automatic solution (fonte) com as listas publicadas. A nossa API responde à mesma pergunta que o Verificar um bot, para um endereço e um user agent por vez, e a página de fontes de dados mostra quando cada lista oficial foi baixada pela última vez.

Perguntas e respostas

Um registro de DNS reverso (PTR) basta?

Não. Quem controla um bloco de endereços define os nomes de DNS reverso dele, então um registro PTR pode exibir qualquer nome. Só a consulta direta, feita no domínio do operador, liga o nome ao endereço.

Um rastreador real pode falhar na verificação?

Sim, por motivos inocentes: o operador adicionou endereços depois que você baixou sua cópia da lista, seu servidor registra o endereço de um proxy ou CDN em vez do visitante, ou uma consulta DNS expirou. Atualize as listas com frequência, registre o endereço real do cliente e trate uma falha de DNS isolada como desconhecida, não como falsa.

Devo fazer consultas DNS a cada requisição?

Não. Consultas adicionam atraso e podem falhar sob carga. Compare os endereços com as listas publicadas no servidor ou no firewall, e deixe o DNS reverso para verificações pontuais e para rastreadores sem lista, guardando cada resposta em cache.

Todo rastreador pode ser verificado?

Não. Alguns operadores publicam endereços, outros só nomes de DNS reverso, outros os dois, e alguns nenhum. As tabelas acima dizem o que vale para cada um; um rastreador que você não consegue verificar só pode ser julgado pelo que faz.

Fontes

Documentos oficiais que usamos para conferir os fatos deste guia.