Diretório de bots e IA · Outros
Google special-case crawlers: o que é, como verificar e como bloquear
O Google special-case crawlers é operado pela Google. Rastreadores do Google para produtos específicos, como verificar páginas de destino de anúncios, que funcionam com base em um acordo com o site.
Dados principais
| Operador | Google |
|---|---|
| Categoria | Outros |
| Nome no robots.txt | Ele não tem um único nome no robots.txt; a Google lista vários user agents na documentação. |
| Segue o robots.txt | Aviso: Em parte |
| Dá para verificar? | OK: Sim, por faixas de IP e DNS reverso |
| Documentação oficial | |
| Registro verificado | 11 de nov. de 2026 |
User agent
Ele não tem um único nome no robots.txt; a Google lista vários user agents na documentação.
A Google não publica uma string de user agent completa; procure Google special-case crawlers no user agent.
Dá para verificar o Google special-case crawlers?
Sim A Google publica os endereços IP que o Google special-case crawlers usa. Baixamos essa lista a cada 6 horas: nossa cópia é de 20 de nov. de 2026 e tem 272 entradas; a Google a datou de 20 de nov. de 2026.
Os endereços dele também têm nomes de DNS reverso em google.com; um nome só vale se apontar de volta para o mesmo endereço.
O Google special-case crawlers segue o robots.txt?
Em parte Só em parte: a Google diz que o Google special-case crawlers pode não seguir o robots.txt em alguns casos, então o robots.txt sozinho nem sempre o mantém fora.
“may ignore robots.txt rules”
Como bloquear ou permitir o Google special-case crawlers
Ele não tem nome próprio no robots.txt; a documentação da Google explica quais user agents ele usa.
O robots.txt é um pedido, não uma tranca. Para impor um bloqueio, adicione uma regra de firewall ou de CDN. Como a Google publica os endereços do Google special-case crawlers, uma regra pode casar com eles exatamente, e um Google special-case crawlers falso não passa pelo verdadeiro.
Com que frequência o Google special-case crawlers visita?
A Google não publica com que frequência o Google special-case crawlers visita um site, e o iplover não vê o seu tráfego. O seu próprio log de acesso é a única contagem confiável: cole-o no verificador de logs, que conta as visitas de cada rastreador e aponta os falsos, no seu navegador.
Documentação oficial
developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers
Registro verificado em 11 de nov. de 2026. As listas de endereços são baixadas a cada 6 horas.