Vérifier ma connexion

Guides · Enquêter sur une IP

Comment bloquer les robots d'IA (GPTBot, ClaudeBot, PerplexityBot et d'autres) : plages d'IP et robots.txt

Les journaux de votre serveur se remplissent de GPTBot, ClaudeBot et meta-externalagent, et vous voulez avoir votre mot à dire sur ce qu'il advient de vos contenus. Cette page couvre les principaux robots d'IA, ceux de notre registre de robots, tels que chaque opérateur les documente, avec des règles prêtes à copier pour robots.txt, nginx, Apache et Cloudflare. De nouveaux robots apparaissent sans cesse, aucune liste n'est donc complète : les tableaux grandissent avec le registre, les mêmes données que Vérifier un robot et le générateur de robots.txt.

Deux dates sur cette page : « Dernière mise à jour », en haut, indique quand nous avons révisé cet article pour la dernière fois. « Registre vérifié », sous chaque tableau, indique quand nous avons comparé pour la dernière fois chaque robot du registre à la documentation de son opérateur. Les listes d'IP officielles derrière les tableaux sont retéléchargées toutes les 6 heures.

Trois sortes de robots d'IA, trois décisions différentes

« Bloquer l'IA » peut vouloir dire trois choses, et chacune correspond à un robot différent avec son propre token dans robots.txt :

Décidez d'abord de ce que vous voulez

Ce qu'il faut bloquer selon l'objectif
Si vous voulez…BloquezLaissez passer
Tenir vos contenus à l'écart de l'entraînement de l'IA, mais rester dans les réponses de la recherche IALe groupe d'entraînementLes robots de recherche IA, Googlebot, Applebot
Sortir aussi des réponses et des citations de l'IALes groupes d'entraînement et de recherche IAGooglebot, Bingbot, Applebot
Empêcher les assistants de lire une page à la demande d'un utilisateurLe groupe des fetchers déclenchés par l'utilisateur, sur le serveur ou le pare-feuTout le reste
Garder votre référencement dans la recherche Google et AppleJamais Googlebot ni Applebot : utilisez plutôt Google-Extended et Applebot-ExtendedGooglebot, Applebot

Les robots d'IA, un par un

Pour chaque robot : l'opérateur, le token à utiliser dans robots.txt, si l'opérateur dit qu'il respecte robots.txt, si l'on peut prouver qu'une requête vient bien de lui, et les sources officielles, c'est-à-dire la liste d'IP quand elle existe et la documentation de l'opérateur. Chaque nom mène à la page du robot dans notre annuaire, avec ses chaînes user agent complètes et les détails de vérification.

Robots d'entraînement

Robots d'entraînement d'IA et contrôles d'entraînement. Registre vérifié le 11 novembre 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.
BotOpérateurNom dans robots.txtRespecte robots.txtVérifiable ?Sources
Google-Extended Google
Google-Extended
Une règle robots.txt Pas un robot d'exploration
Documentation de l'opérateur: developers.google.com
Applebot-Extended Apple
Applebot-Extended
Une règle robots.txt Pas un robot d'exploration
Documentation de l'opérateur: support.apple.com
GPTBot OpenAI
GPTBot
Oui Oui, par plages IP
Liste d'IP officielle: openai.com/gptbot.jsonDocumentation de l'opérateur: developers.openai.com
ClaudeBot Anthropic
ClaudeBot
Oui Oui, par plages IP
Liste d'IP officielle: claude.com/crawling/bots.jsonDocumentation de l'opérateur: support.claude.com
CCBot Common Crawl
CCBot
Oui Oui, par plages IP et DNS inverse
Liste d'IP officielle: index.commoncrawl.org/ccbot.jsonDocumentation de l'opérateur: commoncrawl.org
meta-externalagent Meta
meta-externalagent
Oui Non, user agent seulement
Documentation de l'opérateur: developers.facebook.com
Amazonbot Amazon
Amazonbot
Oui Oui, par plages IP
Liste d'IP officielle: developer.amazon.com/amazonbot/ip-addresses/Documentation de l'opérateur: developer.amazon.com
Bytespider ByteDance
Bytespider
Non documenté Non, user agent seulement
–
Timpibot Timpi
Timpibot
Non documenté Non, user agent seulement
–
FacebookBot Meta
FacebookBot
Non documenté Non, user agent seulement
–

Deux lignes sont des tokens, pas des robots. Google écrit Google-Extended doesn't have a separate HTTP request user agent string. (source), et Apple Applebot-Extended does not crawl webpages. (source) Ce sont Googlebot et Applebot qui récupèrent les pages ; le token décide seulement si le résultat peut servir à l'IA. Apple ajoute Webpages that disallow Applebot-Extended can still be included in search results. (source)

Bytespider, Timpibot et FacebookBot n'ont pas de documentation publique que nous ayons pu lire : il n'y a ni promesse sur robots.txt sur laquelle compter, ni liste d'IP pour les vérifier. S'ils vous gênent, bloquez-les sur le serveur.

Robots de recherche IA

Robots de recherche IA. Registre vérifié le 11 novembre 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.
BotOpérateurNom dans robots.txtRespecte robots.txtVérifiable ?Sources
OAI-SearchBot OpenAI
OAI-SearchBot
Oui Oui, par plages IP
Liste d'IP officielle: openai.com/searchbot.jsonDocumentation de l'opérateur: developers.openai.com
PerplexityBot Perplexity
PerplexityBot
Oui Oui, par plages IP
Liste d'IP officielle: perplexity.ai/perplexitybot.jsonDocumentation de l'opérateur: docs.perplexity.ai
Claude-SearchBot Anthropic
Claude-SearchBot
Oui Oui, par plages IP
Liste d'IP officielle: claude.com/crawling/bots.jsonDocumentation de l'opérateur: support.claude.com
Amzn-SearchBot Amazon
Amzn-SearchBot
Oui Oui, par plages IP
Liste d'IP officielle: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentation de l'opérateur: developer.amazon.com
meta-webindexer Meta
meta-webindexer
Oui Non, user agent seulement
Documentation de l'opérateur: developers.facebook.com

OpenAI dit clairement que les deux exclusions sont distinctes : a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot (source). OpenAI précise aussi que, si vous autorisez les deux, we may use the results from just one crawl for both use cases (source).

Fetchers déclenchés par l'utilisateur

Fetchers qui agissent à la demande d'un utilisateur. Registre vérifié le 11 novembre 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.
BotOpérateurNom dans robots.txtRespecte robots.txtVérifiable ?Sources
ChatGPT-User OpenAI
ChatGPT-User
En partie Oui, par plages IP
Liste d'IP officielle: openai.com/chatgpt-user.jsonDocumentation de l'opérateur: developers.openai.com
Perplexity-User Perplexity
Perplexity-User
En général non Oui, par plages IP
Liste d'IP officielle: perplexity.ai/perplexity-user.jsonDocumentation de l'opérateur: docs.perplexity.ai
Claude-User Anthropic
Claude-User
Oui Oui, par plages IP
Liste d'IP officielle: claude.com/crawling/bots.jsonDocumentation de l'opérateur: support.claude.com
meta-externalfetcher Meta
meta-externalfetcher
En partie Non, user agent seulement
Documentation de l'opérateur: developers.facebook.com
Amzn-User Amazon
Amzn-User
En partie Oui, par plages IP
Liste d'IP officielle: developer.amazon.com/amazonbot/live-ip-addresses/Documentation de l'opérateur: developer.amazon.com
cohere-ai Cohere
cohere-ai
Non documenté Non, user agent seulement
–

Lisez ici attentivement la colonne robots.txt. Pour ChatGPT-User, OpenAI écrit Because these actions are initiated by a user, robots.txt rules may not apply. (source) Perplexity dit que son fetcher generally ignores robots.txt rules (source), et Meta que le sien may bypass robots.txt rules (source). Si vous voulez les tenir à l'écart, robots.txt seul ne suffit pas.

robots.txt prêt à copier

robots.txt se trouve à la racine de chaque hôte : https://example.com/robots.txt ne vaut que pour example.com, donc www, shop et chaque autre sous-domaine ont besoin de leur propre copie. Plusieurs lignes User-agent peuvent partager une même règle, comme le permet la RFC 9309. Copiez les groupes qui correspondent à votre décision.

Robots d'entraînement et contrôles d'entraînement de l'IA :

# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /

Robots de recherche IA (seulement si vous voulez aussi sortir des réponses de l'IA) :

# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /

Fetchers déclenchés par l'utilisateur (une demande polie ; voir plus haut pourquoi elle peut être ignorée) :

# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /

Chaque bloc exclut tout le site. Pour laisser une section ouverte, ajoutez dans le même groupe une ligne Allow: avec son chemin. Selon la RFC 9309, la règle la plus précise (la plus longue) l'emporte, donc Allow: /blog/ prime sur Disallow: / pour les pages sous /blog/.

robots.txt est une demande, pas un verrou

robots.txt fonctionne parce que les robots bien conçus choisissent de le lire et de le suivre. Il n'arrête pas un scraper qui l'ignore, et un scraper qui se présente avec l'user agent d'un navigateur ne correspond jamais à vos lignes User-agent. Voyez robots.txt comme l'expression de votre volonté, que les robots documentés respectent, et faites-la appliquer là où c'est important.

Faites-le appliquer sur le serveur ou le pare-feu

Une règle sur l'user agent refuse toute requête dont l'user agent contient l'un des tokens. Elle arrête les robots honnêtes dès leur requête suivante, et aussi les contrefaçons peu soignées. Les règles ci-dessous utilisent les trois mêmes groupes que les blocs robots.txt, elles appliquent donc la même décision :

Chaque règle laisse /robots.txt lisible, pour que les robots voient toujours votre exclusion.

nginx

Le premier map met $ai_bot à 1 quand l'user agent contient un token d'un groupe actif (~* signifie une comparaison insensible à la casse). Le second map transmet cette valeur pour chaque chemin sauf /robots.txt. Le if répond ensuite 403 à ces requêtes. Pour activer un autre groupe, supprimez le # devant sa ligne.

# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
    default 0;
    # Training crawlers (the first robots.txt block)
    "~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
    # User-triggered fetchers: uncomment to refuse them too
    # "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
    # AI search crawlers: uncomment only if you also leave AI answers
    # "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
    default $ai_bot;
    /robots.txt 0;
}

# In each server { } block that should refuse them:
if ($block_ai) { return 403; }

Apache

Chaque ligne SetEnvIfNoCase marque les requêtes d'un groupe ; décommentez une ligne pour ajouter son groupe. La ligne SetEnvIf retire la marque pour /robots.txt, et Require not env refuse les requêtes marquées avec un 403. Dans .htaccess, il faut AllowOverride FileInfo AuthConfig (ou All).

# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
    Require all granted
    Require not env block_ai
</RequireAll>

Cloudflare

Créez une règle personnalisée WAF par groupe que vous avez bloqué dans robots.txt, avec l'action Block. Chaque expression correspond aux tokens de ce groupe, plus les robots que Cloudflare a lui-même vérifiés dans la catégorie de robots vérifiés correspondante, et laisse /robots.txt tranquille.

Règle 1, robots d'entraînement (le premier bloc robots.txt). Catégorie Cloudflare : AI Crawler.

(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
 or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"

Règle 2, facultative, fetchers déclenchés par l'utilisateur. Catégorie Cloudflare : AI Assistant.

(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
 or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"

Règle 3, facultative, robots de recherche IA : seulement si vous voulez aussi sortir des réponses de l'IA. Catégorie Cloudflare : AI Search, que Cloudflare conserve pour les règles existantes mais ne distingue plus de la recherche ordinaire dans sa classification récente ; ici, ce sont donc surtout les tokens qui font le travail.

(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
 or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"

C'est Cloudflare qui décide quels robots vérifiés appartiennent à chaque catégorie, et une catégorie peut inclure des robots absents de nos tableaux. Si vous voulez qu'une règle ne corresponde qu'aux tokens listés, supprimez sa ligne cf.verified_bot_category.

Cloudflare propose aussi un réglage dans le tableau de bord, désormais appelé AI Crawler and Agent access policies (source), sous Security, Settings. Il classe les robots par comportement, et ses trois comportements correspondent aux groupes de cette page : Training aux robots d'entraînement, Search aux robots de recherche IA, Agent aux fetchers déclenchés par l'utilisateur. Il s'applique aux robots vérifiés et aux robots non vérifiés qui leur correspondent.

Bloquer ou autoriser par plage d'IP

Les user agents se falsifient ; l'adresse d'une requête aboutie, non. Quand un opérateur publie les adresses de ses robots, les tableaux renvoient vers la liste officielle. Vous pouvez les utiliser de deux façons : n'autoriser un robot que depuis ses propres plages, pour qu'un faux GPTBot venu d'ailleurs n'obtienne rien, ou bloquer ces plages entièrement.

Ne collez pas les plages dans votre configuration une fois pour toutes : les opérateurs les modifient. Téléchargez les listes régulièrement, comme nous le faisons : nos copies sont renouvelées toutes les 6 heures, et la page des sources de données indique quand chacune a été mise à jour. Pour l'automatisation, notre API répond à la même question adresse par adresse.

Vérifier qu'un robot est authentique

Collez une adresse de vos journaux, et l'user agent si vous l'avez, dans Vérifier un robot. L'outil compare l'adresse aux listes officielles et, pour les opérateurs qui le permettent, au DNS inverse confirmé, puis vous dit si la requête vient vraiment du robot qu'elle prétend être. La même méthode à la main, pour Google, est dans notre guide sur la vérification d'une IP de Googlebot.

Questions et réponses

Bloquer GPTBot retire-t-il mon site de la recherche ChatGPT ?

Non. OpenAI utilise OAI-SearchBot pour la recherche et GPTBot pour l'entraînement, et précise Each setting is independent of the others. (source) Pour sortir des réponses de la recherche ChatGPT, il faut aussi exclure OAI-SearchBot.

Bloquer Google-Extended nuit-il à mon référencement Google ?

Google écrit Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search. (source) Apple dit la même chose de son token : Site rules for Applebot-Extended are not considered in ranking for Search. (source)

Les robots d'IA respectent-ils robots.txt ?

Les robots documentés des tableaux disent que oui. Les fetchers qui agissent pour un utilisateur sont différents : pour ChatGPT-User, OpenAI écrit que robots.txt rules may not apply (source), et Perplexity que son fetcher generally ignores robots.txt rules (source). Les robots sans documentation publique, comme Bytespider, n'ont rien promis.

Combien de temps faut-il pour qu'une modification de robots.txt prenne effet ?

OpenAI écrit it can take ~24 hours from a site's robots.txt update for our systems to adjust. (source) Les autres opérateurs des tableaux ne donnent pas de délai. Une règle sur le serveur ou le pare-feu s'applique dès la requête suivante.

Sources

Documents officiels utilisés pour vérifier les faits de ce guide.