Comment bloquer les robots d'IA (GPTBot, ClaudeBot, PerplexityBot et d'autres) : plages d'IP et robots.txt
Les journaux de votre serveur se remplissent de GPTBot, ClaudeBot et meta-externalagent, et vous voulez avoir votre mot à dire sur ce qu'il advient de vos contenus. Cette page couvre les principaux robots d'IA, ceux de notre registre de robots, tels que chaque opérateur les documente, avec des règles prêtes à copier pour robots.txt, nginx, Apache et Cloudflare. De nouveaux robots apparaissent sans cesse, aucune liste n'est donc complète : les tableaux grandissent avec le registre, les mêmes données que Vérifier un robot et le générateur de robots.txt.
Deux dates sur cette page : « Dernière mise à jour », en haut, indique quand nous avons révisé cet article pour la dernière fois. « Registre vérifié », sous chaque tableau, indique quand nous avons comparé pour la dernière fois chaque robot du registre à la documentation de son opérateur. Les listes d'IP officielles derrière les tableaux sont retéléchargées toutes les 6 heures.
Trois sortes de robots d'IA, trois décisions différentes
« Bloquer l'IA » peut vouloir dire trois choses, et chacune correspond à un robot différent avec son propre token dans robots.txt :
- Robots d'entraînement : ils collectent des pages qui peuvent servir à entraîner des modèles d'IA, comme GPTBot, ClaudeBot et CCBot. Google et Apple utilisent leurs robots de recherche habituels et vous donnent un token à part,
Google-ExtendedetApplebot-Extended, qui ne contrôle que l'usage pour l'IA de ce qu'ils récupèrent. - Robots de recherche IA : ils indexent les pages pour qu'un moteur de réponses puisse les citer et les lier, comme OAI-SearchBot pour la recherche ChatGPT, PerplexityBot et Claude-SearchBot. Les bloquer vous tient à l'écart de l'entraînement et aussi de leurs réponses, liens compris.
- Fetchers déclenchés par l'utilisateur : ils chargent une page parce qu'une personne a demandé à un assistant de la lire, par exemple ChatGPT-User ou Perplexity-User. Plusieurs opérateurs indiquent que robots.txt peut ne pas s'appliquer à ceux-ci.
Décidez d'abord de ce que vous voulez
| Si vous voulez… | Bloquez | Laissez passer |
|---|---|---|
| Tenir vos contenus à l'écart de l'entraînement de l'IA, mais rester dans les réponses de la recherche IA | Le groupe d'entraînement | Les robots de recherche IA, Googlebot, Applebot |
| Sortir aussi des réponses et des citations de l'IA | Les groupes d'entraînement et de recherche IA | Googlebot, Bingbot, Applebot |
| Empêcher les assistants de lire une page à la demande d'un utilisateur | Le groupe des fetchers déclenchés par l'utilisateur, sur le serveur ou le pare-feu | Tout le reste |
| Garder votre référencement dans la recherche Google et Apple | Jamais Googlebot ni Applebot : utilisez plutôt Google-Extended et Applebot-Extended | Googlebot, Applebot |
Les robots d'IA, un par un
Pour chaque robot : l'opérateur, le token à utiliser dans robots.txt, si l'opérateur dit qu'il respecte robots.txt, si l'on peut prouver qu'une requête vient bien de lui, et les sources officielles, c'est-à-dire la liste d'IP quand elle existe et la documentation de l'opérateur. Chaque nom mène à la page du robot dans notre annuaire, avec ses chaînes user agent complètes et les détails de vérification.
Robots d'entraînement
| Bot | Opérateur | Nom dans robots.txt | Respecte robots.txt | Vérifiable ? | Sources |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Une règle robots.txt | Pas un robot d'exploration | Documentation de l'opérateur: developers.google.com |
|
| Applebot-Extended | Apple | Applebot-Extended |
Une règle robots.txt | Pas un robot d'exploration | Documentation de l'opérateur: support.apple.com |
| GPTBot | OpenAI | GPTBot |
Oui | Oui, par plages IP | Liste d'IP officielle: openai.com/gptbot.jsonDocumentation de l'opérateur: developers.openai.com |
| ClaudeBot | Anthropic | ClaudeBot |
Oui | Oui, par plages IP | Liste d'IP officielle: claude.com/crawling/bots.jsonDocumentation de l'opérateur: support.claude.com |
| CCBot | Common Crawl | CCBot |
Oui | Oui, par plages IP et DNS inverse | Liste d'IP officielle: index.commoncrawl.org/ccbot.jsonDocumentation de l'opérateur: commoncrawl.org |
| meta-externalagent | Meta | meta-externalagent |
Oui | Non, user agent seulement | Documentation de l'opérateur: developers.facebook.com |
| Amazonbot | Amazon | Amazonbot |
Oui | Oui, par plages IP | Liste d'IP officielle: developer.amazon.com/amazonbot/ip-addresses/Documentation de l'opérateur: developer.amazon.com |
| Bytespider | ByteDance | Bytespider |
Non documenté | Non, user agent seulement | – |
| Timpibot | Timpi | Timpibot |
Non documenté | Non, user agent seulement | – |
| FacebookBot | Meta | FacebookBot |
Non documenté | Non, user agent seulement | – |
Deux lignes sont des tokens, pas des robots. Google écrit Google-Extended doesn't have a separate HTTP request user agent string.
(source), et Apple Applebot-Extended does not crawl webpages.
(source) Ce sont Googlebot et Applebot qui récupèrent les pages ; le token décide seulement si le résultat peut servir à l'IA. Apple ajoute Webpages that disallow Applebot-Extended can still be included in search results.
(source)
Bytespider, Timpibot et FacebookBot n'ont pas de documentation publique que nous ayons pu lire : il n'y a ni promesse sur robots.txt sur laquelle compter, ni liste d'IP pour les vérifier. S'ils vous gênent, bloquez-les sur le serveur.
Robots de recherche IA
| Bot | Opérateur | Nom dans robots.txt | Respecte robots.txt | Vérifiable ? | Sources |
|---|---|---|---|---|---|
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Oui | Oui, par plages IP | Liste d'IP officielle: openai.com/searchbot.jsonDocumentation de l'opérateur: developers.openai.com |
| PerplexityBot | Perplexity | PerplexityBot |
Oui | Oui, par plages IP | Liste d'IP officielle: perplexity.ai/perplexitybot.jsonDocumentation de l'opérateur: docs.perplexity.ai |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Oui | Oui, par plages IP | Liste d'IP officielle: claude.com/crawling/bots.jsonDocumentation de l'opérateur: support.claude.com |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Oui | Oui, par plages IP | Liste d'IP officielle: developer.amazon.com/amazonbot/searchbot-ip-addresses/Documentation de l'opérateur: developer.amazon.com |
| meta-webindexer | Meta | meta-webindexer |
Oui | Non, user agent seulement | Documentation de l'opérateur: developers.facebook.com |
OpenAI dit clairement que les deux exclusions sont distinctes : a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot
(source). OpenAI précise aussi que, si vous autorisez les deux, we may use the results from just one crawl for both use cases
(source).
Fetchers déclenchés par l'utilisateur
| Bot | Opérateur | Nom dans robots.txt | Respecte robots.txt | Vérifiable ? | Sources |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
En partie | Oui, par plages IP | Liste d'IP officielle: openai.com/chatgpt-user.jsonDocumentation de l'opérateur: developers.openai.com |
| Perplexity-User | Perplexity | Perplexity-User |
En général non | Oui, par plages IP | Liste d'IP officielle: perplexity.ai/perplexity-user.jsonDocumentation de l'opérateur: docs.perplexity.ai |
| Claude-User | Anthropic | Claude-User |
Oui | Oui, par plages IP | Liste d'IP officielle: claude.com/crawling/bots.jsonDocumentation de l'opérateur: support.claude.com |
| meta-externalfetcher | Meta | meta-externalfetcher |
En partie | Non, user agent seulement | Documentation de l'opérateur: developers.facebook.com |
| Amzn-User | Amazon | Amzn-User |
En partie | Oui, par plages IP | Liste d'IP officielle: developer.amazon.com/amazonbot/live-ip-addresses/Documentation de l'opérateur: developer.amazon.com |
| cohere-ai | Cohere | cohere-ai |
Non documenté | Non, user agent seulement | – |
Lisez ici attentivement la colonne robots.txt. Pour ChatGPT-User, OpenAI écrit Because these actions are initiated by a user, robots.txt rules may not apply.
(source) Perplexity dit que son fetcher generally ignores robots.txt rules
(source), et Meta que le sien may bypass robots.txt rules
(source). Si vous voulez les tenir à l'écart, robots.txt seul ne suffit pas.
robots.txt prêt à copier
robots.txt se trouve à la racine de chaque hôte : https://example.com/robots.txt ne vaut que pour example.com, donc www, shop et chaque autre sous-domaine ont besoin de leur propre copie. Plusieurs lignes User-agent peuvent partager une même règle, comme le permet la RFC 9309. Copiez les groupes qui correspondent à votre décision.
Robots d'entraînement et contrôles d'entraînement de l'IA :
# AI training crawlers and AI-training controls
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: Timpibot
User-agent: FacebookBot
Disallow: /
Robots de recherche IA (seulement si vous voulez aussi sortir des réponses de l'IA) :
# AI search crawlers: blocking these removes you from their answers
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Amzn-SearchBot
User-agent: meta-webindexer
Disallow: /
Fetchers déclenchés par l'utilisateur (une demande polie ; voir plus haut pourquoi elle peut être ignorée) :
# Fetchers acting on a user's request (some may not follow robots.txt)
# From the iplover.com/bots registry, checked 2026-11-11
User-agent: ChatGPT-User
User-agent: Perplexity-User
User-agent: Claude-User
User-agent: meta-externalfetcher
User-agent: Amzn-User
User-agent: cohere-ai
Disallow: /
Chaque bloc exclut tout le site. Pour laisser une section ouverte, ajoutez dans le même groupe une ligne Allow: avec son chemin. Selon la RFC 9309, la règle la plus précise (la plus longue) l'emporte, donc Allow: /blog/ prime sur Disallow: / pour les pages sous /blog/.
robots.txt est une demande, pas un verrou
robots.txt fonctionne parce que les robots bien conçus choisissent de le lire et de le suivre. Il n'arrête pas un scraper qui l'ignore, et un scraper qui se présente avec l'user agent d'un navigateur ne correspond jamais à vos lignes User-agent. Voyez robots.txt comme l'expression de votre volonté, que les robots documentés respectent, et faites-la appliquer là où c'est important.
Faites-le appliquer sur le serveur ou le pare-feu
Une règle sur l'user agent refuse toute requête dont l'user agent contient l'un des tokens. Elle arrête les robots honnêtes dès leur requête suivante, et aussi les contrefaçons peu soignées. Les règles ci-dessous utilisent les trois mêmes groupes que les blocs robots.txt, elles appliquent donc la même décision :
- Les robots d'entraînement sont bloqués tels que les règles sont écrites. Google-Extended et Applebot-Extended n'y figurent pas : ils n'apparaissent jamais dans une requête, et le bloc robots.txt les couvre déjà.
- Les fetchers déclenchés par l'utilisateur et les robots de recherche IA sont prêts mais désactivés. N'activez un groupe que si vous l'avez aussi bloqué dans robots.txt, ou si vous comptiez le faire : bloquer les robots de recherche IA vous retire des réponses de l'IA.
Chaque règle laisse /robots.txt lisible, pour que les robots voient toujours votre exclusion.
nginx
Le premier map met $ai_bot à 1 quand l'user agent contient un token d'un groupe actif (~* signifie une comparaison insensible à la casse). Le second map transmet cette valeur pour chaque chemin sauf /robots.txt. Le if répond ensuite 403 à ces requêtes. Pour activer un autre groupe, supprimez le # devant sa ligne.
# In the http { } block.
# 1. Which requests come from a chosen bot (case-insensitive match)
map $http_user_agent $ai_bot {
default 0;
# Training crawlers (the first robots.txt block)
"~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" 1;
# User-triggered fetchers: uncomment to refuse them too
# "~*(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" 1;
# AI search crawlers: uncomment only if you also leave AI answers
# "~*(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" 1;
}
# 2. Refuse them everywhere except /robots.txt, so they can read your opt-out
map $uri $block_ai {
default $ai_bot;
/robots.txt 0;
}
# In each server { } block that should refuse them:
if ($block_ai) { return 403; }
Apache
Chaque ligne SetEnvIfNoCase marque les requêtes d'un groupe ; décommentez une ligne pour ajouter son groupe. La ligne SetEnvIf retire la marque pour /robots.txt, et Require not env refuse les requêtes marquées avec un 403. Dans .htaccess, il faut AllowOverride FileInfo AuthConfig (ou All).
# <VirtualHost>, <Directory> or .htaccess (Apache 2.4; mod_setenvif, mod_authz_core)
# Training crawlers (the first robots.txt block)
SetEnvIfNoCase User-Agent "(GPTBot|ClaudeBot|CCBot|meta-externalagent|Amazonbot|Bytespider|Timpibot|FacebookBot)" block_ai
# User-triggered fetchers: uncomment to refuse them too
# SetEnvIfNoCase User-Agent "(ChatGPT-User|Perplexity-User|Claude-User|meta-externalfetcher|Amzn-User|cohere-ai)" block_ai
# AI search crawlers: uncomment only if you also leave AI answers
# SetEnvIfNoCase User-Agent "(OAI-SearchBot|PerplexityBot|Claude-SearchBot|Amzn-SearchBot|meta-webindexer)" block_ai
# Keep /robots.txt readable, so they can read your opt-out
SetEnvIf Request_URI "^/robots\.txt$" !block_ai
<RequireAll>
Require all granted
Require not env block_ai
</RequireAll>
Cloudflare
Créez une règle personnalisée WAF par groupe que vous avez bloqué dans robots.txt, avec l'action Block. Chaque expression correspond aux tokens de ce groupe, plus les robots que Cloudflare a lui-même vérifiés dans la catégorie de robots vérifiés correspondante, et laisse /robots.txt tranquille.
Règle 1, robots d'entraînement (le premier bloc robots.txt). Catégorie Cloudflare : AI Crawler.
(http.user_agent contains "GPTBot" or http.user_agent contains "ClaudeBot" or http.user_agent contains "CCBot" or http.user_agent contains "meta-externalagent" or http.user_agent contains "Amazonbot" or http.user_agent contains "Bytespider" or http.user_agent contains "Timpibot" or http.user_agent contains "FacebookBot"
or cf.verified_bot_category eq "AI Crawler")
and http.request.uri.path ne "/robots.txt"
Règle 2, facultative, fetchers déclenchés par l'utilisateur. Catégorie Cloudflare : AI Assistant.
(http.user_agent contains "ChatGPT-User" or http.user_agent contains "Perplexity-User" or http.user_agent contains "Claude-User" or http.user_agent contains "meta-externalfetcher" or http.user_agent contains "Amzn-User" or http.user_agent contains "cohere-ai"
or cf.verified_bot_category eq "AI Assistant")
and http.request.uri.path ne "/robots.txt"
Règle 3, facultative, robots de recherche IA : seulement si vous voulez aussi sortir des réponses de l'IA. Catégorie Cloudflare : AI Search, que Cloudflare conserve pour les règles existantes mais ne distingue plus de la recherche ordinaire dans sa classification récente ; ici, ce sont donc surtout les tokens qui font le travail.
(http.user_agent contains "OAI-SearchBot" or http.user_agent contains "PerplexityBot" or http.user_agent contains "Claude-SearchBot" or http.user_agent contains "Amzn-SearchBot" or http.user_agent contains "meta-webindexer"
or cf.verified_bot_category eq "AI Search")
and http.request.uri.path ne "/robots.txt"
C'est Cloudflare qui décide quels robots vérifiés appartiennent à chaque catégorie, et une catégorie peut inclure des robots absents de nos tableaux. Si vous voulez qu'une règle ne corresponde qu'aux tokens listés, supprimez sa ligne cf.verified_bot_category.
Cloudflare propose aussi un réglage dans le tableau de bord, désormais appelé AI Crawler and Agent access policies
(source), sous Security, Settings. Il classe les robots par comportement, et ses trois comportements correspondent aux groupes de cette page : Training aux robots d'entraînement, Search aux robots de recherche IA, Agent aux fetchers déclenchés par l'utilisateur. Il s'applique aux robots vérifiés et aux robots non vérifiés qui leur correspondent.
Bloquer ou autoriser par plage d'IP
Les user agents se falsifient ; l'adresse d'une requête aboutie, non. Quand un opérateur publie les adresses de ses robots, les tableaux renvoient vers la liste officielle. Vous pouvez les utiliser de deux façons : n'autoriser un robot que depuis ses propres plages, pour qu'un faux GPTBot venu d'ailleurs n'obtienne rien, ou bloquer ces plages entièrement.
Ne collez pas les plages dans votre configuration une fois pour toutes : les opérateurs les modifient. Téléchargez les listes régulièrement, comme nous le faisons : nos copies sont renouvelées toutes les 6 heures, et la page des sources de données indique quand chacune a été mise à jour. Pour l'automatisation, notre API répond à la même question adresse par adresse.
Vérifier qu'un robot est authentique
Collez une adresse de vos journaux, et l'user agent si vous l'avez, dans Vérifier un robot. L'outil compare l'adresse aux listes officielles et, pour les opérateurs qui le permettent, au DNS inverse confirmé, puis vous dit si la requête vient vraiment du robot qu'elle prétend être. La même méthode à la main, pour Google, est dans notre guide sur la vérification d'une IP de Googlebot.
Vous cherchez un robot précis ? L'annuaire des bots et de l'IA indique le user agent, les plages IP et le nom dans robots.txt de chacun. Pour bloquer plusieurs bots d'IA à la fois, utilisez le générateur de robots.txt.
Questions et réponses
Bloquer GPTBot retire-t-il mon site de la recherche ChatGPT ?
Non. OpenAI utilise OAI-SearchBot pour la recherche et GPTBot pour l'entraînement, et précise Each setting is independent of the others.
(source) Pour sortir des réponses de la recherche ChatGPT, il faut aussi exclure OAI-SearchBot.
Bloquer Google-Extended nuit-il à mon référencement Google ?
Google écrit Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.
(source) Apple dit la même chose de son token : Site rules for Applebot-Extended are not considered in ranking for Search.
(source)
Les robots d'IA respectent-ils robots.txt ?
Les robots documentés des tableaux disent que oui. Les fetchers qui agissent pour un utilisateur sont différents : pour ChatGPT-User, OpenAI écrit que robots.txt rules may not apply
(source), et Perplexity que son fetcher generally ignores robots.txt rules
(source). Les robots sans documentation publique, comme Bytespider, n'ont rien promis.
Combien de temps faut-il pour qu'une modification de robots.txt prenne effet ?
OpenAI écrit it can take ~24 hours from a site's robots.txt update for our systems to adjust.
(source) Les autres opérateurs des tableaux ne donnent pas de délai. Une règle sur le serveur ou le pare-feu s'applique dès la requête suivante.
Sources
Documents officiels utilisés pour vérifier les faits de ce guide.
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google Search Central: Google's common crawlers (Google-Extended)
- Apple: About Applebot (Applebot-Extended)
- Meta: Meta web crawlers
- Amazon: Amazonbot
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- nginx: ngx_http_map_module
- Apache HTTP Server 2.4: mod_rewrite
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Verified bots and their categories
- Cloudflare: cf.verified_bot_category