Verificar minha conexão

Diretório de bots e IA · Outros

Google special-case crawlers: o que é, como verificar e como bloquear

O Google special-case crawlers é operado pela Google. Rastreadores do Google para produtos específicos, como verificar páginas de destino de anúncios, que funcionam com base em um acordo com o site.

Dados principais

Dados principais
Operador
Google
Categoria
Outros
Nome no robots.txt
Ele não tem um único nome no robots.txt; a Google lista vários user agents na documentação.
Segue o robots.txt
Aviso: Em parte
Dá para verificar?
OK: Sim, por faixas de IP e DNS reverso
Documentação oficial
Registro verificado
11 de nov. de 2026

User agent

Ele não tem um único nome no robots.txt; a Google lista vários user agents na documentação.

A Google não publica uma string de user agent completa; procure Google special-case crawlers no user agent.

Dá para verificar o Google special-case crawlers?

Sim A Google publica os endereços IP que o Google special-case crawlers usa. Baixamos essa lista a cada 6 horas: nossa cópia é de 20 de nov. de 2026 e tem 272 entradas; a Google a datou de 20 de nov. de 2026.

Os endereços dele também têm nomes de DNS reverso em google.com; um nome só vale se apontar de volta para o mesmo endereço.

Verificar um endereço dos seus logs

O Google special-case crawlers segue o robots.txt?

Em parte Só em parte: a Google diz que o Google special-case crawlers pode não seguir o robots.txt em alguns casos, então o robots.txt sozinho nem sempre o mantém fora.

“may ignore robots.txt rules”

Como bloquear ou permitir o Google special-case crawlers

Ele não tem nome próprio no robots.txt; a documentação da Google explica quais user agents ele usa.

O robots.txt é um pedido, não uma tranca. Para impor um bloqueio, adicione uma regra de firewall ou de CDN. Como a Google publica os endereços do Google special-case crawlers, uma regra pode casar com eles exatamente, e um Google special-case crawlers falso não passa pelo verdadeiro.

Com que frequência o Google special-case crawlers visita?

A Google não publica com que frequência o Google special-case crawlers visita um site, e o iplover não vê o seu tráfego. O seu próprio log de acesso é a única contagem confiável: cole-o no verificador de logs, que conta as visitas de cada rastreador e aponta os falsos, no seu navegador.

Documentação oficial

developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers

Registro verificado em 11 de nov. de 2026. As listas de endereços são baixadas a cada 6 horas.