Comment vérifier qu'un robot d'exploration est réel : Googlebot, Bingbot et repérer les faux robots
Une requête de vos journaux indique Googlebot. C'est peut-être Google ; c'est peut-être un scraper qui a copié le nom de Google parce que peu de sites osent le bloquer. Ce guide montre les deux vérifications qui prouvent vraiment qui a envoyé une requête, pour les principaux robots des moteurs de recherche et les robots de recherche IA, avec la liste d'IP officielle de chaque opérateur, ses noms DNS inverses et des règles pour refuser les faux.
« Dernière mise à jour », en haut, indique quand nous avons révisé cet article pour la dernière fois. « Registre vérifié », sous chaque tableau, indique quand nous avons comparé pour la dernière fois chaque robot du registre à la documentation de son opérateur ; les listes d'IP officielles sont retéléchargées toutes les 6 heures.
Pourquoi l'user agent ne prouve rien
Voyez l'user agent comme un badge que le visiteur remplit lui-même. Les vrais robots en remplissent un honnête, mais rien n'empêche quelqu'un d'autre d'écrire Googlebot sur le sien, et copier la chaîne exacte de Googlebot tient en une ligne de code. Les scrapers et les outils d'attaque le font exprès : certains pare-feu et limites de débit laissent passer les robots connus.
L'adresse, c'est autre chose. Elle indique d'où la connexion est réellement venue, et seul l'opérateur contrôle les adresses qu'il publie et les noms DNS sous son propre domaine. Les deux vérifications ci-dessous utilisent l'adresse, jamais le badge.
Les deux vérifications qui fonctionnent
Il suffit que l'une réussisse, celle que l'opérateur prend en charge. Certains opérateurs prennent en charge les deux.
1. La liste d'IP publiée par l'opérateur
Beaucoup d'opérateurs publient les plages d'adresses de leur robot, généralement sous forme de fichier JSON de préfixes IPv4 et IPv6. Si l'adresse tombe dans l'une d'elles, la requête vient du réseau de cet opérateur. C'est la vérification la plus rapide, et celle à utiliser dans un pare-feu, car elle ne demande aucune recherche par requête. Les listes changent, retéléchargez-les donc régulièrement au lieu de les copier une fois.
2. DNS inverse confirmé (FCrDNS)
C'est la méthode que Google documente pour ses propres robots. Elle demande deux requêtes DNS :
- Recherche inverse : demandez au DNS le nom de l'adresse (son enregistrement
PTR). - Vérifiez que le nom se termine par le domaine de l'opérateur. Pour Google :
Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.
(source) - Recherche directe : demandez au DNS l'adresse de ce nom.
- Confirmez qu'elle correspond. Google :
Verify that it's the same as the original accessing IP address from your logs.
(source)
C'est l'étape 3 qui en fait une preuve. Celui qui contrôle une adresse peut lui donner le nom inverse de son choix, y compris crawl-1-2-3-4.googlebot.com. Seul Google peut faire pointer un nom sous googlebot.com vers une adresse. Avec dig sous Linux ou macOS, l'exemple de Google donne ceci :
$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1
Sous Windows, nslookup fait les deux mêmes recherches :
> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com
Les adresses de Bingbot ont des noms inverses sous search.msn.com qui renvoient de la même façon ; voici une vraie recherche sur une adresse de Bingbot. Nous vérifions Bingbot avec la liste publiée par Bing, liée dans le tableau ci-dessous.
$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10
Un outil qui n'affiche que le nom inverse (l'enregistrement PTR) montre l'étape 1, que n'importe qui peut falsifier. Notre outil Vérifier un robot fait les deux recherches et consulte les listes officielles ; notre guide sur le DNS inverse explique les enregistrements PTR en général.
Ce robot est-il réel ? Une vérification rapide
| Vérification | Vrai robot | Faux |
|---|---|---|
| L'user agent cite un robot connu | Oui | Généralement aussi : cela ne prouve rien |
| L'adresse figure dans la liste publiée par l'opérateur | Oui | Non |
| Le nom DNS inverse est sous le domaine de l'opérateur | Oui, chez les opérateurs qui l'utilisent | Absent, générique ou d'un autre domaine |
| Ce nom renvoie à la même adresse | Oui | Non, ou pas du tout |
| Ce qu'il demande | Des pages et robots.txt, à un rythme régulier | Souvent des pages de connexion, des chemins d'administration ou des formulaires de recherche : un indice, pas une preuve |
Les principaux robots et comment vérifier chacun
Pour chaque robot : le token de l'user agent, comment prouver qu'une requête vient de lui, les noms DNS inverses quand l'opérateur les utilise, et les sources officielles. Chaque nom mène à la page du robot dans notre annuaire de l'IA et des robots. Les tableaux couvrent les robots de notre registre, pas tous les robots du web.
Robots des moteurs de recherche
| Bot | Opérateur | Nom dans robots.txt | Vérifiable ? | Le nom DNS inverse se termine par | Sources |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Oui, par plages IP et DNS inverse | .googlebot.com .geo.googlebot.com |
Liste d'IP officielle: developers.google.com/static/crawling/ipranges/common-crawlers.jsonDocumentation de l'opérateur: developers.google.com |
|
| Bingbot | Microsoft | bingbot |
Oui, par plages IP | – |
Liste d'IP officielle: bing.com/toolbox/bingbot.jsonDocumentation de l'opérateur: bing.com |
| Applebot | Apple | Applebot |
Oui, par plages IP et DNS inverse | .applebot.apple.com |
Liste d'IP officielle: search.developer.apple.com/applebot.jsonDocumentation de l'opérateur: support.apple.com |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Oui, par plages IP | – |
Liste d'IP officielle: duckduckgo.com/duckduckbot.jsonDocumentation de l'opérateur: duckduckgo.com |
Google n'a pas que Googlebot : les robots pour cas particuliers et les fetchers déclenchés par l'utilisateur viennent de listes publiées séparément et ont des noms inverses sous google.com ou gae.googleusercontent.com au lieu de googlebot.com. Vérifiez une adresse avec la liste du type de robot qu'elle prétend être.
Robots de recherche IA
| Bot | Opérateur | Nom dans robots.txt | Vérifiable ? | Le nom DNS inverse se termine par | Sources |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Oui, par plages IP | – |
Liste d'IP officielle: openai.com/searchbot.jsonDocumentation de l'opérateur: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Oui, par plages IP | – |
Liste d'IP officielle: perplexity.ai/perplexitybot.jsonDocumentation de l'opérateur: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Oui, par plages IP | – |
Liste d'IP officielle: claude.com/crawling/bots.jsonDocumentation de l'opérateur: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Oui, par plages IP | – |
Liste d'IP officielle: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentation de l'opérateur: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
Non, user agent seulement | – |
Documentation de l'opérateur: developers.facebook.com |
Ils indexent des pages pour les moteurs de réponses IA. Pour décider quels robots d'IA laisser entrer, consultez notre guide sur le blocage des robots d'IA. Un robot marqué « user agent seulement » ne publie rien pour le vérifier, une requête qui le cite ne peut donc être ni confirmée ni démentie.
Comment repérer un faux robot dans vos journaux
Partez des requêtes qui citent un robot, puis vérifiez leurs adresses. Un faux se trahit généralement de l'une de ces façons :
- L'adresse échoue aux vérifications ci-dessus : elle n'est dans aucune liste publiée, n'a pas de nom inverse sous le domaine de l'opérateur, ou son nom ne renvoie pas à l'adresse.
- Un seul nom, beaucoup de réseaux sans lien : le vrai trafic de Googlebot vient des plages de Google, pas d'une douzaine d'hébergeurs à la fois.
- Son comportement ne colle pas : il martèle les URL de connexion ou d'administration, essaie tous les paramètres de recherche ou ignore votre robots.txt. Voyez-y une raison de vérifier, pas une preuve à elle seule.
D'abord un piège : derrière un CDN ou un proxy inverse, votre serveur peut journaliser l'adresse du proxy au lieu de celle du visiteur. Assurez-vous de vérifier la vraie adresse du client (par exemple CF-Connecting-IP derrière Cloudflare, ou l'adresse que transmet votre proxy), sinon chaque robot semblera faux.
Notre vérificateur de journaux le fait pour un journal entier dans votre navigateur : il liste chaque adresse, ce que prétend son user agent et si une prétention de robot peut être confirmée.
Que faire des faux robots
Refusez les requêtes qui citent un robot mais ne viennent pas de ses adresses. Les règles ci-dessous le font pour Googlebot avec la liste publiée par Google ; le même principe fonctionne pour tout robot qui en publie une, comme Bingbot avec la liste de Bing. Le vrai Googlebot et les visiteurs ordinaires ne sont pas concernés.
nginx
Le bloc geo marque les adresses de la liste de Google, le premier map marque les user agents qui disent Googlebot, et le second map combine les deux : une requête qui se dit Googlebot depuis l'extérieur de la liste reçoit un 403.
# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
default 0;
include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
default 0;
"~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
default 0;
"1:0" 1;
}
# In each server { } block:
if ($fake_googlebot) { return 403; }
Le fichier de la liste est créé, et tenu à jour, par un petit script. Lancez-le chaque jour : il refuse d'installer une liste vide, qui renverrait tous les vrais Googlebot, et ne recharge nginx que si la configuration passe le test (nginx -t).
#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload
Apache
Dans Apache, un bloc ne s'applique qu'aux requêtes dont l'user agent dit Googlebot, et sa ligne Require ip n'autorise que les plages de Google. Le script ci-dessous écrit ce bloc à partir de la liste de Google.
# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
| jq -r '" Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new" # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful
Cloudflare
Sur Cloudflare, une règle personnalisée WAF avec l'action Block peut utiliser la liste de bons robots de Cloudflare : le champ cf.client.bot est vrai pour les requêtes de bons robots connus, donc une requête qui cite un robot de moteur de recherche sans en être un est refusée.
(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot
Bloquer les faux n'arrête pas les vrais robots, et ne doit pas le faire : refuser le vrai Googlebot retire vos pages de la recherche Google. Si vous voulez aussi tenir les robots d'IA à l'écart, c'est une décision à part, traitée dans comment bloquer les robots d'IA.
Automatiser la vérification
Pour de gros volumes, Google conseille d'automatiser : For large scale lookups, use an automatic solution
(source) avec les listes publiées. Notre API répond à la même question que Vérifier un robot, pour une adresse et un user agent à la fois, et la page des sources de données indique quand chaque liste officielle a été téléchargée pour la dernière fois.
Vous cherchez un robot précis ? L'annuaire des bots et de l'IA indique le user agent, les plages IP et le nom dans robots.txt de chacun. Pour bloquer plusieurs bots d'IA à la fois, utilisez le générateur de robots.txt.
Questions et réponses
Un enregistrement DNS inverse (PTR) suffit-il ?
Non. Celui qui contrôle un bloc d'adresses définit ses noms DNS inverses, donc un enregistrement PTR peut afficher n'importe quel nom. Seule la recherche directe, faite sur le domaine de l'opérateur, relie le nom à l'adresse.
Un vrai robot peut-il échouer à la vérification ?
Oui, pour des raisons innocentes : l'opérateur a ajouté des adresses après le téléchargement de votre copie de la liste, votre serveur journalise l'adresse d'un proxy ou d'un CDN au lieu de celle du visiteur, ou une requête DNS a expiré. Actualisez les listes régulièrement, journalisez la vraie adresse du client et traitez un échec DNS isolé comme inconnu, pas comme faux.
Faut-il faire des requêtes DNS à chaque requête ?
Non. Les requêtes DNS ajoutent du délai et peuvent échouer sous la charge. Comparez les adresses aux listes publiées dans le serveur ou le pare-feu, et gardez le DNS inverse pour les contrôles ponctuels et les robots sans liste, en mettant chaque réponse en cache.
Peut-on vérifier tous les robots ?
Non. Certains opérateurs publient des adresses, d'autres seulement des noms DNS inverses, d'autres les deux, et quelques-uns ni l'un ni l'autre. Les tableaux ci-dessus indiquent ce qui vaut pour chacun ; un robot que vous ne pouvez pas vérifier ne se juge que sur ce qu'il fait.
Sources
Documents officiels utilisés pour vérifier les faits de ce guide.
- Google Search Central: Verify requests from Google crawlers and fetchers
- Google Search Central: Google's common crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing: bingbot.json (published Bingbot addresses)
- Apple: About Applebot
- DuckDuckGo: DuckDuckBot
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Anthropic: Does Anthropic crawl data from the web?
- nginx: ngx_http_geo_module
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_authz_core (Require ip)
- Apache HTTP Server 2.4: Expressions (<If>)
- Cloudflare: cf.client.bot