É mesmo o Googlebot? Como verificar o IP de um rastreador
Uma linha do seu log diz Googlebot/2.1, mas ela está martelando a sua página de login ou baixando todo o seu catálogo de produtos a cada hora. É mesmo o Google? Normalmente não, e dá para provar isso em um minuto.
Um user agent é uma linha de texto que o cliente escreve sobre si mesmo. Scrapers e ferramentas de ataque copiam o do Googlebot porque os donos de sites têm medo de bloqueá-lo, e alguns firewalls o deixam passar direto. O endereço é diferente. Numa requisição web concluída, ele é a rede real de onde a conexão veio, e o Google controla os nomes DNS dos endereços dos próprios rastreadores. É isso que você confere.
O teste das duas consultas
O método documentado pelo Google tem dois passos, e você precisa dos dois:
- Consulta reversa: pergunte ao DNS qual nome pertence ao endereço. Um endereço de rastreador legítimo tem um nome sob
googlebot.com,google.comougoogleusercontent.com. - Consulta direta: pergunte ao DNS o endereço desse nome. Ele precisa ser o endereço do começo.
O segundo passo é o que torna isso uma prova. Quem controla um endereço pode dar a ele o nome reverso que quiser, inclusive crawl-1-2-3-4.googlebot.com. Só o Google consegue fazer um nome googlebot.com apontar de volta para um endereço.
No Linux ou no macOS:
host 66.249.66.1
host crawl-66-249-66-1.googlebot.comNo Windows, use nslookup 66.249.66.1 e depois nslookup crawl-66-249-66-1.googlebot.com, ou no PowerShell Resolve-DnsName 66.249.66.1.
A resposta para este endereço: o nome reverso é crawl-66-249-66-1.googlebot.com, e esse nome aponta de volta para 66.249.66.1. Os dois passos batem, então é o Google.
O jeito mais rápido: as listas publicadas pelo Google
O Google também publica os endereços dos seus rastreadores em arquivos JSON, com link na mesma página de documentação. O do Googlebot e dos outros rastreadores comuns é o common-crawlers.json. Se um endereço cai numa das faixas dele, é um rastreador do Google. É mais fácil de automatizar do que o DNS, e é o que as ferramentas do iplover usam, com atualização diária.
Um exemplo real: um Googlebot verdadeiro e um falso
Duas linhas do mesmo log. As duas dizem ser o Googlebot.
66.249.66.1 - - [05/Nov/2026:09:15:40 +0000] "GET /2026/09/router-settings/ HTTP/1.1" 200 21004 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
3.5.140.1 - - [05/Nov/2026:09:20:55 +0000] "GET /.env HTTP/1.1" 404 548 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"Coloque os dois endereços na consulta de IP do iplover, e os resultados não têm nada a ver um com o outro:
| Verificação | 66.249.66.1 | 3.5.140.1 |
|---|---|---|
| Veredito | Rastreador verificado Este é Googlebot. | Provedor de nuvem ou hospedagem Este endereço pertence a Amazon Web Services. |
| Lista correspondente | Rastreadores comuns do Google (Googlebot) | Faixas de endereços IP da AWS |
| DNS reverso | crawl-66-249-66-1.googlebot.com, confirmado na direção direta | Sem nome |
| Dono da rede | Google LLC (AS15169), ARIN | Amazon Data Services Northern Virginia (AS16509), ARIN |
O primeiro é o Google, por todos os testes. O segundo é um servidor alugado da Amazon que escreveu “Googlebot” no user agent, e estava procurando um arquivo .env cheio de senhas. Os rastreadores do Google não rodam na nuvem da Amazon. Essa linha é um scanner disfarçado.
O conselho da consulta para o verdadeiro é direto: não bloqueie, porque bloquear pode tirar as suas páginas dos resultados do Google.
Se você vir isto, faça isto
| O que você encontra | O que significa | O que fazer |
|---|---|---|
| Os dois passos de DNS batem, ou o endereço está na lista do Google | O Googlebot de verdade | Deixe-o em paz. Para mudar o quanto ele rastreia, use o robots.txt e o Search Console. |
O nome reverso está sob googleusercontent.com | Um serviço do Google buscando algo para um usuário ou para um cliente do Google Cloud | É a rede do Google, mas não necessariamente o rastreador de busca. Julgue pelo que ele pede. |
| O nome reverso parece certo, mas a consulta direta devolve outro endereço | Um nome reverso forjado | Trate como falso. |
| Sem nome reverso, ou com um nome sem relação com o Google | Não é o Google | Trate como qualquer outro bot desconhecido. Bloqueie se ele se comportar mal. |
“Googlebots” falsos pedindo .env, backups ou wp-login.php | Um scanner escondido atrás de um nome confiável | Confira se esses caminhos dão 404, depois bloqueie o endereço ou limite a taxa dele. |
Os outros grandes rastreadores
A mesma regra vale para todo rastreador: confira o endereço, nunca o user agent. A maioria dos grandes operadores publica as faixas dos seus rastreadores no mesmo formato JSON do Google. Estas são as listas que o iplover usa:
- Bing:
https://www.bing.com/toolbox/bingbot.json - Apple (Applebot):
https://search.developer.apple.com/applebot.json - DuckDuckGo:
https://duckduckgo.com/duckduckbot.json - OpenAI (GPTBot):
https://openai.com/gptbot.json
A nossa página de fontes de dados lista cada lista de rastreadores que carregamos e quando ela foi atualizada pela última vez.
Bloquear os falsos sem prejudicar o verdadeiro
Nunca crie uma regra baseada só no user agent do tipo “liberar tudo que diz ser Googlebot”. É exatamente a brecha de que os falsos dependem. Se o seu firewall ou CDN tem uma categoria de “bots verificados” (a Cloudflare tem), use-a: ela confere o endereço por você. Se for escrever a sua própria regra, libere as faixas publicadas e trate todo o resto que diz ser rastreador como um visitante comum.
E lembre o que é um rastreador falso: um bot que não quer ser julgado como bot. Trate-o como um. Se vale a pena bloqueá-lo depende do que ele faz, não do nome que usa.
Fontes
Documentos oficiais que usamos para conferir os fatos deste guia.