Directorio de bots e IA · Otros
Google special-case crawlers: qué es, cómo verificarlo y cómo bloquearlo
Google special-case crawlers lo gestiona Google. Rastreadores de Google para productos concretos, como revisar las páginas de destino de los anuncios, que trabajan según un acuerdo con el sitio.
Datos clave
| Operador | Google |
|---|---|
| Categoría | Otros |
| Nombre en robots.txt | No tiene un único nombre para robots.txt; Google enumera varios user agents en su documentación. |
| Respeta robots.txt | Aviso: En parte |
| ¿Se puede verificar? | OK: Sí, por rangos IP y DNS inverso |
| Documentación oficial | |
| Registro revisado | 11 nov 2026 |
User agent
No tiene un único nombre para robots.txt; Google enumera varios user agents en su documentación.
Google no publica un user agent completo; busca Google special-case crawlers en el user agent.
¿Se puede verificar Google special-case crawlers?
Sí Google publica las direcciones IP que usa Google special-case crawlers. Descargamos esa lista cada 6 horas: nuestra copia es del 20 nov 2026 y tiene 272 entradas; Google la fechó el 20 nov 2026.
Sus direcciones también tienen nombres de DNS inverso en google.com; un nombre solo cuenta si apunta de vuelta a la misma dirección.
¿Respeta Google special-case crawlers robots.txt?
En parte Solo en parte: Google dice que en algunos casos Google special-case crawlers puede no respetar robots.txt, así que robots.txt por sí solo no siempre lo mantiene fuera.
“may ignore robots.txt rules”
Cómo bloquear o permitir Google special-case crawlers
No tiene nombre propio en robots.txt; la documentación de Google explica qué user agents usa.
robots.txt es una petición, no un candado. Para imponer el bloqueo, añade una regla en el cortafuegos o en la CDN. Como Google publica las direcciones de Google special-case crawlers, la regla puede ajustarse a ellas con exactitud, y así un Google special-case crawlers falso no se cuela como el real.
¿Con qué frecuencia pasa Google special-case crawlers?
Google no publica con qué frecuencia visita Google special-case crawlers un sitio, e iplover no ve tu tráfico. Tu propio log de accesos es el único recuento fiable: pégalo en el revisor de logs, que cuenta las visitas de cada rastreador y marca los falsos, en tu navegador.
Documentación oficial
developers.google.com/crawling/docs/crawlers-fetchers/google-special-case-crawlers
Registro revisado el 11 nov 2026. Las listas de direcciones se descargan cada 6 horas.