Est-ce vraiment Googlebot ? Comment vérifier l'IP d'un robot d'exploration
Une ligne de votre log indique Googlebot/2.1, mais elle martèle votre page de connexion ou télécharge tout votre catalogue produits toutes les heures. Est-ce vraiment Google ? En général non, et vous pouvez le prouver en une minute.
Un user agent est une ligne de texte que le client écrit sur lui-même. Les scrapers et les outils d'attaque copient celui de Googlebot parce que les propriétaires de sites ont peur de le bloquer, et certains pare-feu le laissent passer. L'adresse, c'est autre chose. Pour une requête web aboutie, c'est le vrai réseau d'où vient la connexion, et Google contrôle les noms DNS des adresses de ses propres robots. C'est cela que vous vérifiez.
Le test des deux requêtes
La méthode documentée par Google comporte deux étapes, et il faut les deux :
- Recherche inverse : demandez au DNS quel nom correspond à l'adresse. Une adresse de robot authentique a un nom sous
googlebot.com,google.comougoogleusercontent.com. - Recherche directe : demandez au DNS l'adresse de ce nom. Ce doit être l'adresse de départ.
C'est la deuxième étape qui en fait une preuve. Quiconque contrôle une adresse peut lui donner le nom inverse qu'il veut, y compris crawl-1-2-3-4.googlebot.com. Seul Google peut faire pointer un nom en googlebot.com vers une adresse.
Sous Linux ou macOS :
host 66.249.66.1
host crawl-66-249-66-1.googlebot.comSous Windows, utilisez nslookup 66.249.66.1 puis nslookup crawl-66-249-66-1.googlebot.com, ou dans PowerShell Resolve-DnsName 66.249.66.1.
La réponse pour cette adresse : le nom inverse est crawl-66-249-66-1.googlebot.com, et ce nom renvoie à 66.249.66.1. Les deux étapes passent, c'est donc Google.
La vérification rapide : les listes publiées par Google
Google publie aussi les adresses de ses robots sous forme de fichiers JSON, accessibles depuis la même page de documentation. Celui de Googlebot et des autres robots courants s'appelle common-crawlers.json. Si une adresse tombe dans l'une de ses plages, c'est un robot de Google. C'est plus facile à automatiser que le DNS, et c'est ce qu'utilisent les outils d'iplover, mis à jour chaque jour.
Un exemple concret : un vrai Googlebot et un faux
Voici deux lignes du même log. Les deux prétendent être Googlebot.
66.249.66.1 - - [05/Nov/2026:09:15:40 +0000] "GET /2026/09/router-settings/ HTTP/1.1" 200 21004 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
3.5.140.1 - - [05/Nov/2026:09:20:55 +0000] "GET /.env HTTP/1.1" 404 548 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"Mettez les deux adresses dans la recherche IP d'iplover : les résultats n'ont rien à voir.
| Vérification | 66.249.66.1 | 3.5.140.1 |
|---|---|---|
| Verdict | Robot d'exploration vérifié C'est Googlebot. | Fournisseur cloud ou hébergeur Cette adresse appartient à Amazon Web Services. |
| Liste correspondante | Robots courants de Google (Googlebot) | Plages d'adresses IP d'AWS |
| DNS inverse | crawl-66-249-66-1.googlebot.com, confirmé dans le sens direct | Aucun nom |
| Propriétaire du réseau | Google LLC (AS15169), ARIN | Amazon Data Services Northern Virginia (AS16509), ARIN |
Le premier est Google, selon tous les tests. Le second est un serveur loué chez Amazon qui a écrit « Googlebot » dans son user agent, et il cherchait un fichier .env rempli de mots de passe. Les robots de Google ne tournent pas sur le cloud d'Amazon. Cette ligne est un scanner déguisé.
Pour le vrai, le conseil de la recherche est sans détour : ne le bloquez pas, car le bloquer peut faire disparaître vos pages des résultats de Google.
Si vous voyez ceci, faites cela
| Ce que vous trouvez | Ce que ça signifie | Que faire |
|---|---|---|
| Les deux étapes DNS passent, ou l'adresse est dans la liste de Google | Le vrai Googlebot | Laissez-le tranquille. Pour changer la fréquence de son passage, utilisez robots.txt et la Search Console. |
Le nom inverse est sous googleusercontent.com | Un service Google qui récupère une page pour un utilisateur ou pour un client de Google Cloud | C'est le réseau de Google, mais pas forcément le robot du moteur de recherche. Jugez-le sur ce qu'il demande. |
| Le nom inverse a l'air correct, mais la recherche directe donne une autre adresse | Un nom inverse falsifié | Traitez-le comme un faux. |
| Aucun nom inverse, ou un nom sans rapport avec Google | Ce n'est pas Google | Traitez-le comme n'importe quel bot inconnu. Bloquez-le s'il se comporte mal. |
De faux « Googlebot » qui demandent .env, des sauvegardes ou wp-login.php | Un scanner caché derrière un nom de confiance | Vérifiez que ces chemins renvoient 404, puis bloquez l'adresse ou limitez son débit. |
Les autres grands robots
La même règle vaut pour tous les robots : vérifiez l'adresse, jamais le user agent. La plupart des grands opérateurs publient les plages de leurs robots dans le même format JSON que Google. Voici les listes qu'utilise iplover :
- Bing :
https://www.bing.com/toolbox/bingbot.json - Apple (Applebot) :
https://search.developer.apple.com/applebot.json - DuckDuckGo :
https://duckduckgo.com/duckduckbot.json - OpenAI (GPTBot) :
https://openai.com/gptbot.json
Notre page des sources de données recense chaque liste de robots que nous chargeons et la date de sa dernière mise à jour.
Bloquer les faux sans gêner le vrai
Ne faites jamais de règle sur le seul user agent du type « autoriser tout ce qui se dit Googlebot ». C'est exactement la faille dont profitent les imposteurs. Si votre pare-feu ou votre CDN propose une catégorie « bots vérifiés » (c'est le cas de Cloudflare), utilisez-la : elle vérifie l'adresse pour vous. Si vous écrivez votre propre règle, autorisez les plages publiées et traitez tout le reste de ce qui se prétend robot comme un visiteur ordinaire.
Et rappelez-vous ce qu'est un faux robot : un bot qui ne veut pas être jugé comme un bot. Traitez-le comme tel. Qu'il vaille la peine d'être bloqué dépend de ce qu'il fait, pas du nom qu'il emprunte.
Sources
Documents officiels utilisés pour vérifier les faits de ce guide.