Vérifier ma connexion

Guides · Enquêter sur une IP

Comment vérifier qu'un robot d'exploration est réel : Googlebot, Bingbot et repérer les faux robots

Une requête de vos journaux indique Googlebot. C'est peut-être Google ; c'est peut-être un scraper qui a copié le nom de Google parce que peu de sites osent le bloquer. Ce guide montre les deux vérifications qui prouvent vraiment qui a envoyé une requête, pour les principaux robots des moteurs de recherche et les robots de recherche IA, avec la liste d'IP officielle de chaque opérateur, ses noms DNS inverses et des règles pour refuser les faux.

« Dernière mise à jour », en haut, indique quand nous avons révisé cet article pour la dernière fois. « Registre vérifié », sous chaque tableau, indique quand nous avons comparé pour la dernière fois chaque robot du registre à la documentation de son opérateur ; les listes d'IP officielles sont retéléchargées toutes les 6 heures.

Pourquoi l'user agent ne prouve rien

Voyez l'user agent comme un badge que le visiteur remplit lui-même. Les vrais robots en remplissent un honnête, mais rien n'empêche quelqu'un d'autre d'écrire Googlebot sur le sien, et copier la chaîne exacte de Googlebot tient en une ligne de code. Les scrapers et les outils d'attaque le font exprès : certains pare-feu et limites de débit laissent passer les robots connus.

L'adresse, c'est autre chose. Elle indique d'où la connexion est réellement venue, et seul l'opérateur contrôle les adresses qu'il publie et les noms DNS sous son propre domaine. Les deux vérifications ci-dessous utilisent l'adresse, jamais le badge.

Les deux vérifications qui fonctionnent

Il suffit que l'une réussisse, celle que l'opérateur prend en charge. Certains opérateurs prennent en charge les deux.

1. La liste d'IP publiée par l'opérateur

Beaucoup d'opérateurs publient les plages d'adresses de leur robot, généralement sous forme de fichier JSON de préfixes IPv4 et IPv6. Si l'adresse tombe dans l'une d'elles, la requête vient du réseau de cet opérateur. C'est la vérification la plus rapide, et celle à utiliser dans un pare-feu, car elle ne demande aucune recherche par requête. Les listes changent, retéléchargez-les donc régulièrement au lieu de les copier une fois.

2. DNS inverse confirmé (FCrDNS)

C'est la méthode que Google documente pour ses propres robots. Elle demande deux requêtes DNS :

  1. Recherche inverse : demandez au DNS le nom de l'adresse (son enregistrement PTR).
  2. Vérifiez que le nom se termine par le domaine de l'opérateur. Pour Google : Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com. (source)
  3. Recherche directe : demandez au DNS l'adresse de ce nom.
  4. Confirmez qu'elle correspond. Google : Verify that it's the same as the original accessing IP address from your logs. (source)

C'est l'étape 3 qui en fait une preuve. Celui qui contrôle une adresse peut lui donner le nom inverse de son choix, y compris crawl-1-2-3-4.googlebot.com. Seul Google peut faire pointer un nom sous googlebot.com vers une adresse. Avec dig sous Linux ou macOS, l'exemple de Google donne ceci :

$ dig -x 66.249.66.1 +short
crawl-66-249-66-1.googlebot.com.
$ dig +short crawl-66-249-66-1.googlebot.com
66.249.66.1

Sous Windows, nslookup fait les deux mêmes recherches :

> nslookup 66.249.66.1
> nslookup crawl-66-249-66-1.googlebot.com

Les adresses de Bingbot ont des noms inverses sous search.msn.com qui renvoient de la même façon ; voici une vraie recherche sur une adresse de Bingbot. Nous vérifions Bingbot avec la liste publiée par Bing, liée dans le tableau ci-dessous.

$ dig -x 40.77.167.10 +short
msnbot-40-77-167-10.search.msn.com.
$ dig +short msnbot-40-77-167-10.search.msn.com
40.77.167.10

Un outil qui n'affiche que le nom inverse (l'enregistrement PTR) montre l'étape 1, que n'importe qui peut falsifier. Notre outil Vérifier un robot fait les deux recherches et consulte les listes officielles ; notre guide sur le DNS inverse explique les enregistrements PTR en général.

Ce robot est-il réel ? Une vérification rapide

Les signes d'un vrai robot et d'un faux
VérificationVrai robotFaux
L'user agent cite un robot connuOuiGénéralement aussi : cela ne prouve rien
L'adresse figure dans la liste publiée par l'opérateurOuiNon
Le nom DNS inverse est sous le domaine de l'opérateurOui, chez les opérateurs qui l'utilisentAbsent, générique ou d'un autre domaine
Ce nom renvoie à la même adresseOuiNon, ou pas du tout
Ce qu'il demandeDes pages et robots.txt, à un rythme régulierSouvent des pages de connexion, des chemins d'administration ou des formulaires de recherche : un indice, pas une preuve

Les principaux robots et comment vérifier chacun

Pour chaque robot : le token de l'user agent, comment prouver qu'une requête vient de lui, les noms DNS inverses quand l'opérateur les utilise, et les sources officielles. Chaque nom mène à la page du robot dans notre annuaire de l'IA et des robots. Les tableaux couvrent les robots de notre registre, pas tous les robots du web.

Robots des moteurs de recherche

Robots des moteurs de recherche. Registre vérifié le 11 novembre 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.
BotOpérateurNom dans robots.txtVérifiable ?Le nom DNS inverse se termine parSources
Googlebot Google
Googlebot
Oui, par plages IP et DNS inverse
.googlebot.com .geo.googlebot.com
Bingbot Microsoft
bingbot
Oui, par plages IP
–
Liste d'IP officielle: bing.com/toolbox/bingbot.jsonDocumentation de l'opérateur: bing.com
Applebot Apple
Applebot
Oui, par plages IP et DNS inverse
.applebot.apple.com
Liste d'IP officielle: search.developer.apple.com/applebot.jsonDocumentation de l'opérateur: support.apple.com
DuckDuckBot DuckDuckGo
DuckDuckBot
Oui, par plages IP
–
Liste d'IP officielle: duckduckgo.com/duckduckbot.jsonDocumentation de l'opérateur: duckduckgo.com

Google n'a pas que Googlebot : les robots pour cas particuliers et les fetchers déclenchés par l'utilisateur viennent de listes publiées séparément et ont des noms inverses sous google.com ou gae.googleusercontent.com au lieu de googlebot.com. Vérifiez une adresse avec la liste du type de robot qu'elle prétend être.

Robots de recherche IA

Robots de recherche IA. Registre vérifié le 11 novembre 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.
BotOpérateurNom dans robots.txtVérifiable ?Le nom DNS inverse se termine parSources
OAI-SearchBot OpenAI
OAI-SearchBot
Oui, par plages IP
–
Liste d'IP officielle: openai.com/searchbot.jsonDocumentation de l'opérateur: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Oui, par plages IP
–
Liste d'IP officielle: perplexity.ai/perplexitybot.jsonDocumentation de l'opérateur: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Oui, par plages IP
–
Liste d'IP officielle: claude.com/crawling/bots.jsonDocumentation de l'opérateur: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Oui, par plages IP
–
Liste d'IP officielle: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentation de l'opérateur: developer.amazon.com
meta-webindexer Meta
meta-webindexer
Non, user agent seulement
–
Documentation de l'opérateur: developers.facebook.com

Ils indexent des pages pour les moteurs de réponses IA. Pour décider quels robots d'IA laisser entrer, consultez notre guide sur le blocage des robots d'IA. Un robot marqué « user agent seulement » ne publie rien pour le vérifier, une requête qui le cite ne peut donc être ni confirmée ni démentie.

Comment repérer un faux robot dans vos journaux

Partez des requêtes qui citent un robot, puis vérifiez leurs adresses. Un faux se trahit généralement de l'une de ces façons :

D'abord un piège : derrière un CDN ou un proxy inverse, votre serveur peut journaliser l'adresse du proxy au lieu de celle du visiteur. Assurez-vous de vérifier la vraie adresse du client (par exemple CF-Connecting-IP derrière Cloudflare, ou l'adresse que transmet votre proxy), sinon chaque robot semblera faux.

Notre vérificateur de journaux le fait pour un journal entier dans votre navigateur : il liste chaque adresse, ce que prétend son user agent et si une prétention de robot peut être confirmée.

Que faire des faux robots

Refusez les requêtes qui citent un robot mais ne viennent pas de ses adresses. Les règles ci-dessous le font pour Googlebot avec la liste publiée par Google ; le même principe fonctionne pour tout robot qui en publie une, comme Bingbot avec la liste de Bing. Le vrai Googlebot et les visiteurs ordinaires ne sont pas concernés.

nginx

Le bloc geo marque les adresses de la liste de Google, le premier map marque les user agents qui disent Googlebot, et le second map combine les deux : une requête qui se dit Googlebot depuis l'extérieur de la liste reçoit un 403.

# In the http { } block.
# 1. Is the address in Google's published crawler list? (file made by the script below)
geo $googlebot_ip {
    default 0;
    include /etc/nginx/googlebot-ips.conf;
}
# 2. Does the user agent say Googlebot?
map $http_user_agent $claims_googlebot {
    default 0;
    "~*Googlebot" 1;
}
# 3. Says Googlebot, but isn't from Google's list: a fake
map "$claims_googlebot:$googlebot_ip" $fake_googlebot {
    default 0;
    "1:0" 1;
}

# In each server { } block:
if ($fake_googlebot) { return 403; }

Le fichier de la liste est créé, et tenu à jour, par un petit script. Lancez-le chaque jour : il refuse d'installer une liste vide, qui renverrait tous les vrais Googlebot, et ne recharge nginx que si la configuration passe le test (nginx -t).

#!/bin/sh
# Refresh Google's crawler addresses for nginx. Run it daily (cron, systemd timer).
# Needs curl and jq. Writes one "CIDR 1;" line per range, e.g. "192.0.2.0/24 1;".
set -e
curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
  | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > /etc/nginx/googlebot-ips.conf.new
# Never install an empty list: it would turn every real Googlebot away.
[ -s /etc/nginx/googlebot-ips.conf.new ]
mv /etc/nginx/googlebot-ips.conf.new /etc/nginx/googlebot-ips.conf
nginx -t && nginx -s reload

Apache

Dans Apache, un bloc ne s'applique qu'aux requêtes dont l'user agent dit Googlebot, et sa ligne Require ip n'autorise que les plages de Google. Le script ci-dessous écrit ce bloc à partir de la liste de Google.

# In <VirtualHost> or <Directory> (Apache 2.4, mod_authz_core):
# a request that says Googlebot must come from Google's published addresses.
Include /etc/apache2/googlebot-require.conf
#!/bin/sh
# Refresh the Googlebot rule for Apache. Run it daily. Needs curl and jq.
set -e
F=/etc/apache2/googlebot-require.conf
{
  echo '<If "%{HTTP_USER_AGENT} =~ /googlebot/i">'
  curl -fsS https://developers.google.com/static/crawling/ipranges/common-crawlers.json \
    | jq -r '"    Require ip " + ([.prefixes[] | (.ipv4Prefix // .ipv6Prefix)] | join(" "))'
  echo '</If>'
} > "$F.new"
grep -q 'Require ip [0-9a-f]' "$F.new"   # never install an empty rule
mv "$F.new" "$F"
apachectl configtest && apachectl graceful

Cloudflare

Sur Cloudflare, une règle personnalisée WAF avec l'action Block peut utiliser la liste de bons robots de Cloudflare : le champ cf.client.bot est vrai pour les requêtes de bons robots connus, donc une requête qui cite un robot de moteur de recherche sans en être un est refusée.

(http.user_agent contains "Googlebot" or http.user_agent contains "bingbot" or http.user_agent contains "Applebot" or http.user_agent contains "DuckDuckBot")
and not cf.client.bot

Bloquer les faux n'arrête pas les vrais robots, et ne doit pas le faire : refuser le vrai Googlebot retire vos pages de la recherche Google. Si vous voulez aussi tenir les robots d'IA à l'écart, c'est une décision à part, traitée dans comment bloquer les robots d'IA.

Automatiser la vérification

Pour de gros volumes, Google conseille d'automatiser : For large scale lookups, use an automatic solution (source) avec les listes publiées. Notre API répond à la même question que Vérifier un robot, pour une adresse et un user agent à la fois, et la page des sources de données indique quand chaque liste officielle a été téléchargée pour la dernière fois.

Questions et réponses

Un enregistrement DNS inverse (PTR) suffit-il ?

Non. Celui qui contrôle un bloc d'adresses définit ses noms DNS inverses, donc un enregistrement PTR peut afficher n'importe quel nom. Seule la recherche directe, faite sur le domaine de l'opérateur, relie le nom à l'adresse.

Un vrai robot peut-il échouer à la vérification ?

Oui, pour des raisons innocentes : l'opérateur a ajouté des adresses après le téléchargement de votre copie de la liste, votre serveur journalise l'adresse d'un proxy ou d'un CDN au lieu de celle du visiteur, ou une requête DNS a expiré. Actualisez les listes régulièrement, journalisez la vraie adresse du client et traitez un échec DNS isolé comme inconnu, pas comme faux.

Faut-il faire des requêtes DNS à chaque requête ?

Non. Les requêtes DNS ajoutent du délai et peuvent échouer sous la charge. Comparez les adresses aux listes publiées dans le serveur ou le pare-feu, et gardez le DNS inverse pour les contrôles ponctuels et les robots sans liste, en mettant chaque réponse en cache.

Peut-on vérifier tous les robots ?

Non. Certains opérateurs publient des adresses, d'autres seulement des noms DNS inverses, d'autres les deux, et quelques-uns ni l'un ni l'autre. Les tableaux ci-dessus indiquent ce qui vaut pour chacun ; un robot que vous ne pouvez pas vérifier ne se juge que sur ce qu'il fait.

Sources

Documents officiels utilisés pour vérifier les faits de ce guide.