Como verificar se um rastreador web é real: Googlebot, Bingbot e como identificar bots falsos
Uma requisição no seu log diz Googlebot. Talvez seja o Google; talvez seja um scraper que copiou o nome do Google porque poucos têm coragem de bloqueá-lo. Este guia mostra as duas verificações que provam de verdade quem enviou uma requisição, para os principais rastreadores de buscadores e os rastreadores de busca com IA, com a lista oficial de IP de cada operador, os nomes de DNS reverso e regras para recusar os falsos.
“Última atualização”, no topo, indica quando revisamos este artigo pela última vez. “Registro verificado”, embaixo de cada tabela, indica quando conferimos pela última vez cada rastreador do registro com a documentação do operador; as listas oficiais de IP são baixadas de novo a cada 6 horas.
Por que o user agent não prova nada
Pense no user agent como um crachá que o próprio visitante preenche. Os rastreadores reais preenchem um crachá honesto, mas nada impede outra pessoa de escrever Googlebot no dela, e copiar a string exata do Googlebot custa uma linha de código. Scrapers e ferramentas de ataque fazem isso de propósito: alguns firewalls e limites de taxa deixam passar os rastreadores conhecidos.
Com o endereço é diferente. Ele mostra de onde a conexão veio de verdade, e só o operador controla os endereços que publica e os nomes DNS sob o próprio domínio. As duas verificações abaixo usam o endereço, nunca o crachá.
As duas verificações que funcionam
Basta uma passar, a que o operador suportar. Alguns operadores suportam as duas.
1. A lista de IP publicada pelo operador
Muitos operadores publicam as faixas de endereços do rastreador, geralmente como um arquivo JSON de prefixos IPv4 e IPv6. Se o endereço cai em uma delas, a requisição veio da rede desse operador. É a verificação mais rápida, e a certa para um firewall, porque não precisa de consulta por requisição. As listas mudam, então baixe-as de novo com frequência em vez de copiá-las uma vez.
2. DNS reverso confirmado (FCrDNS)
É o método que o Google documenta para os próprios rastreadores. São duas consultas DNS:
- Consulta reversa: peça ao DNS o nome do endereço (o registro
PTRdele). - Confira se o nome termina com o domínio do operador. Para o Google:
Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.
(fonte) - Consulta direta: peça ao DNS o endereço desse nome.
- Confirme que bate. Google:
Verify that it's the same as the original accessing IP address from your logs.
(fonte)
É o passo 3 que transforma isso em prova. Quem controla um endereço pode dar a ele o nome reverso que quiser, inclusive crawl-1-2-3-4.googlebot.com. Só o Google consegue fazer um nome sob googlebot.com apontar para um endereço. Com o dig no Linux ou no macOS, o exemplo do Google fica assim:
$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1
No Windows, o nslookup faz as mesmas duas consultas:
> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com
Os endereços do Bingbot têm nomes reversos sob search.msn.com que voltam do mesmo jeito; esta é uma consulta real a um endereço do Bingbot. Nós verificamos o Bingbot com a lista publicada pelo Bing, linkada na tabela abaixo.
$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10
Uma ferramenta que mostra só o nome reverso (o registro PTR) está mostrando o passo 1, que qualquer um pode falsificar. A nossa ferramenta Verificar um bot faz as duas consultas e confere as listas oficiais; o nosso guia sobre DNS reverso explica os registros PTR em geral.
Este rastreador é real? Uma verificação rápida
| Verificação | Rastreador real | Falso |
|---|---|---|
| O user agent cita um rastreador conhecido | Sim | Geralmente também: isso não prova nada |
| O endereço está na lista publicada pelo operador | Sim | Não |
| O nome de DNS reverso está sob o domínio do operador | Sim, nos operadores que o usam | Ausente, genérico ou de outro domínio |
| Esse nome aponta de volta para o mesmo endereço | Sim | Não, ou não resolve |
| O que ele pede | Páginas e robots.txt, em ritmo constante | Muitas vezes páginas de login, caminhos de administração ou formulários de busca: um indício, não uma prova |
Os principais rastreadores e como verificar cada um
Para cada rastreador: o token do user agent, como provar que uma requisição vem dele, os nomes de DNS reverso quando o operador os usa e as fontes oficiais. Cada nome leva à página do rastreador no nosso diretório de IA e bots. As tabelas cobrem os rastreadores do nosso registro, não todos os bots da web.
Rastreadores de buscadores
| Bot | Operador | Nome no robots.txt | Dá para verificar? | O nome de DNS reverso termina em | Fontes |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Sim, por faixas de IP e DNS reverso | .googlebot.com .geo.googlebot.com |
Lista oficial de IPs: developers.google.com/static/crawling/ipranges/common-crawlers.jsonDocumentação do operador: developers.google.com |
|
| Bingbot | Microsoft | bingbot |
Sim, por faixas de IP | – |
Lista oficial de IPs: bing.com/toolbox/bingbot.jsonDocumentação do operador: bing.com |
| Applebot | Apple | Applebot |
Sim, por faixas de IP e DNS reverso | .applebot.apple.com |
Lista oficial de IPs: search.developer.apple.com/applebot.jsonDocumentação do operador: support.apple.com |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Sim, por faixas de IP | – |
Lista oficial de IPs: duckduckgo.com/duckduckbot.jsonDocumentação do operador: duckduckgo.com |
O Google tem mais que o Googlebot: os rastreadores para casos especiais e os fetchers acionados pelo usuário vêm de listas publicadas à parte e têm nomes reversos sob google.com ou gae.googleusercontent.com em vez de googlebot.com. Confira um endereço com a lista do tipo de rastreador que ele diz ser.
Rastreadores de busca com IA
| Bot | Operador | Nome no robots.txt | Dá para verificar? | O nome de DNS reverso termina em | Fontes |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Sim, por faixas de IP | – |
Lista oficial de IPs: openai.com/searchbot.jsonDocumentação do operador: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Sim, por faixas de IP | – |
Lista oficial de IPs: perplexity.ai/perplexitybot.jsonDocumentação do operador: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Sim, por faixas de IP | – |
Lista oficial de IPs: claude.com/crawling/bots.jsonDocumentação do operador: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Sim, por faixas de IP | – |
Lista oficial de IPs: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentação do operador: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
Não, só pelo user agent | – |
Documentação do operador: developers.facebook.com |
Eles indexam páginas para os mecanismos de respostas com IA. Para decidir quais bots de IA deixar entrar, veja o nosso guia sobre como bloquear rastreadores de IA. Um rastreador marcado como “só user agent” não publica nada para conferir, então uma requisição que o cita não pode ser provada em nenhum sentido.
Como identificar um rastreador falso nos seus logs
Comece pelas requisições que citam um rastreador e depois verifique os endereços delas. Um falso costuma se entregar de uma destas formas:
- O endereço falha nas verificações acima: não está em nenhuma lista publicada, não tem nome reverso sob o domínio do operador, ou o nome dele não aponta de volta.
- Um só nome, muitas redes sem relação: o tráfego real do Googlebot vem das faixas do Google, não de uma dúzia de empresas de hospedagem ao mesmo tempo.
- O comportamento não combina: martela URLs de login ou de administração, testa todos os parâmetros de busca ou ignora o seu robots.txt. Trate isso como motivo para verificar, não como prova por si só.
Antes, uma armadilha: atrás de uma CDN ou de um proxy reverso, o seu servidor pode registrar o endereço do proxy em vez do visitante. Garanta que você está verificando o endereço real do cliente (por exemplo CF-Connecting-IP atrás da Cloudflare, ou o endereço que o seu proxy repassa), senão todo rastreador vai parecer falso.
O nosso verificador de logs faz isso com um log inteiro no seu navegador: lista cada endereço, o que o user agent dele afirma e se dá para confirmar que é o rastreador que diz ser.
O que fazer com rastreadores falsos
Recuse as requisições que citam um rastreador, mas não vêm dos endereços dele. As regras abaixo fazem isso para o Googlebot com a lista publicada pelo Google; o mesmo padrão serve para qualquer rastreador que publique uma, como o Bingbot com a lista do Bing. O Googlebot real e os visitantes comuns não são afetados.
nginx
O bloco geo marca os endereços da lista do Google, o primeiro map marca os user agents que dizem Googlebot, e o segundo map combina os dois: uma requisição que se diz Googlebot de fora da lista recebe 403.
# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
default 0;
include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
default 0;
"~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
default 0;
"1:0" 1;
}
# In each server { } block:
if ($fake_googlebot) { return 403; }
O arquivo da lista é criado, e mantido atualizado, por um pequeno script. Rode-o todo dia: ele se recusa a instalar uma lista vazia, que recusaria todo Googlebot real, e só recarrega o nginx se a configuração passar no teste (nginx -t).
#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload
Apache
No Apache, um bloco vale só para as requisições cujo user agent diz Googlebot, e a linha Require ip dele só permite as faixas do Google. O script abaixo escreve esse bloco a partir da lista do Google.
# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '" Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new" # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful
Cloudflare
Na Cloudflare, uma regra personalizada do WAF com a ação Block pode usar a lista de bots bons da própria Cloudflare: o campo cf.client.bot é verdadeiro para requisições de bots e rastreadores bons conhecidos, então uma requisição que cita um rastreador de buscador sem ser um é recusada.
(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot
Bloquear os falsos não para os rastreadores reais, e não deve parar: recusar o Googlebot real tira as suas páginas da Pesquisa Google. Se você também quer deixar os rastreadores de IA de fora, essa é uma decisão à parte, explicada em como bloquear rastreadores de IA.
Automatize a verificação
Para grandes volumes, o Google recomenda automatizar: For large scale lookups, use an automatic solution
(fonte) com as listas publicadas. A nossa API responde à mesma pergunta que o Verificar um bot, para um endereço e um user agent por vez, e a página de fontes de dados mostra quando cada lista oficial foi baixada pela última vez.
Procurando um rastreador específico? O diretório de bots e IA mostra o user agent, as faixas de IP e o nome no robots.txt de cada um. Para bloquear vários bots de IA de uma vez, use o gerador de robots.txt.
Perguntas e respostas
Um registro de DNS reverso (PTR) basta?
Não. Quem controla um bloco de endereços define os nomes de DNS reverso dele, então um registro PTR pode exibir qualquer nome. Só a consulta direta, feita no domínio do operador, liga o nome ao endereço.
Um rastreador real pode falhar na verificação?
Sim, por motivos inocentes: o operador adicionou endereços depois que você baixou sua cópia da lista, seu servidor registra o endereço de um proxy ou CDN em vez do visitante, ou uma consulta DNS expirou. Atualize as listas com frequência, registre o endereço real do cliente e trate uma falha de DNS isolada como desconhecida, não como falsa.
Devo fazer consultas DNS a cada requisição?
Não. Consultas adicionam atraso e podem falhar sob carga. Compare os endereços com as listas publicadas no servidor ou no firewall, e deixe o DNS reverso para verificações pontuais e para rastreadores sem lista, guardando cada resposta em cache.
Todo rastreador pode ser verificado?
Não. Alguns operadores publicam endereços, outros só nomes de DNS reverso, outros os dois, e alguns nenhum. As tabelas acima dizem o que vale para cada um; um rastreador que você não consegue verificar só pode ser julgado pelo que faz.
Fontes
Documentos oficiais que usamos para conferir os fatos deste guia.
- Google Search Central: Verify requests from Google crawlers and fetchers
- Google Search Central: Google's common crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing: bingbot.json (published Bingbot addresses)
- Apple: About Applebot
- DuckDuckGo: DuckDuckBot
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Anthropic: Does Anthropic crawl data from the web?
- nginx: ngx_http_geo_module
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_authz_core (Require ip)
- Apache HTTP Server 2.4: Expressions (<If>)
- Cloudflare: cf.client.bot