Vérifier ma connexion

Annuaire des bots et de l'IA

34 robots d'exploration et bots d'IA : qui exploite chacun, ce qu'il collecte, le nom à utiliser dans robots.txt, si son opérateur dit qu'il respecte robots.txt et si vous pouvez prouver qu'une visite est authentique. Les faits viennent de la documentation de chaque opérateur ; quand il n'y en a pas, nous le disons.

Registre vérifié le 11 nov. 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.

Entraînement d'IA

BotOpérateurNom dans robots.txtCe qu'il faitRespecte robots.txtVérifiable ?
Google-Extended Google Google-Extended Un réglage de robots.txt, pas un robot : il décide si les pages que Google explore déjà peuvent servir à entraîner et à alimenter les modèles Gemini. Il n'a aucun effet sur la recherche Google. Une règle robots.txt Pas un robot d'exploration
Applebot-Extended Apple Applebot-Extended Un réglage de robots.txt, pas un robot : il décide si les pages explorées par Applebot peuvent servir à entraîner les modèles génératifs d'Apple. Une règle robots.txt Pas un robot d'exploration
GPTBot OpenAI GPTBot Collecte des contenus qui peuvent servir à entraîner les modèles d'IA générative d'OpenAI. Oui Oui, par plages IP
ClaudeBot Anthropic ClaudeBot Collecte des contenus web qui peuvent contribuer à l'entraînement des modèles Claude d'Anthropic. Il prend aussi en charge Crawl-delay. Oui Oui, par plages IP
CCBot Common Crawl CCBot Constitue l'archive libre et ouverte du web de Common Crawl, que chacun peut télécharger, y compris les développeurs d'IA. Oui Oui, par plages IP et DNS inverse
meta-externalagent Meta meta-externalagent Explore le web pour des usages comme l'entraînement des modèles d'IA de base de Meta ou l'amélioration de ses produits par l'indexation. Oui Non, user agent seulement
Amazonbot Amazon Amazonbot Améliore les produits et services d'Amazon ; les contenus peuvent servir à entraîner les modèles d'IA d'Amazon. Oui Oui, par plages IP
Bytespider ByteDance Bytespider ByteDance, la maison mère de TikTok, n'a publié aucune documentation ; les listes communautaires le présentent comme un robot qui collecte des données pour entraîner l'IA. Non documenté Non, user agent seulement
Timpibot Timpi Timpibot Timpi n'a publié aucune documentation que nous ayons pu lire ; selon les listes communautaires, il collecte des données pour entraîner des modèles d'IA. Non documenté Non, user agent seulement
FacebookBot Meta FacebookBot Un ancien jeton de robot de Meta que la documentation actuelle de Meta ne mentionne plus ; les listes communautaires l'incluent encore pour l'entraînement de l'IA. Non documenté Non, user agent seulement

Requêtes d'assistants IA

BotOpérateurNom dans robots.txtCe qu'il faitRespecte robots.txtVérifiable ?
ChatGPT-User OpenAI ChatGPT-User Consulte une page quand quelqu'un pose une question à ChatGPT ou à un GPT personnalisé. Il n'explore pas le web automatiquement. En partie Oui, par plages IP
Perplexity-User Perplexity Perplexity-User Consulte une page quand quelqu'un pose à Perplexity une question qui en a besoin. Il ne sert ni à explorer le web ni à entraîner des modèles d'IA. En général non Oui, par plages IP
Claude-User Anthropic Claude-User Consulte une page quand un utilisateur de Claude pose une question qui en a besoin. Oui Oui, par plages IP
meta-externalfetcher Meta meta-externalfetcher Récupère des liens précis à la demande d'un utilisateur, par exemple pour les fonctions d'assistant IA de Meta. En partie Non, user agent seulement
Amzn-User Amazon Amzn-User Récupère des pages pour des actions d'utilisateurs, comme répondre à une question posée à Alexa qui demande des informations à jour. Selon Amazon, il ne collecte rien pour entraîner l'IA. En partie Oui, par plages IP
cohere-ai Cohere cohere-ai Cohere n'a publié aucune documentation que nous ayons pu lire ; selon les listes communautaires, il récupère des pages pour répondre aux demandes des utilisateurs. Non documenté Non, user agent seulement

Robot SEO

BotOpérateurNom dans robots.txtCe qu'il faitRespecte robots.txtVérifiable ?
AhrefsBot Ahrefs AhrefsBot, AhrefsSiteAudit Explore le web pour la base de liens et de données SEO d'Ahrefs. AhrefsSiteAudit audite des sites à la demande de leurs propriétaires. Oui Oui, par plages IP et DNS inverse
SemrushBot Semrush SemrushBot Explore le web pour les outils SEO et marketing de Semrush. Semrush indique ne pas utiliser de blocs d'IP fixes. Oui Non, user agent seulement
DotBot Moz dotbot Explore le web pour le Moz Link Index, qui alimente Link Explorer et l'API de Moz. Oui Non, user agent seulement
MJ12bot Majestic MJ12bot Explore le web pour l'index de liens de Majestic. Il tourne sur les ordinateurs de bénévoles, ses adresses sont donc dispersées dans le monde entier. Oui Non, user agent seulement

Autres

BotOpérateurNom dans robots.txtCe qu'il faitRespecte robots.txtVérifiable ?
Google special-case crawlers Google – Des robots de Google pour des produits précis, comme la vérification des pages de destination des annonces, qui agissent selon un accord avec le site. En partie Oui, par plages IP et DNS inverse
Google user-triggered fetchers Google – Récupèrent une page parce qu'une personne l'a demandé à un produit Google, par exemple un lecteur de flux ou une validation de site. En général non Oui, par plages IP et DNS inverse
facebookexternalhit Meta facebookexternalhit Récupère les pages partagées sur Facebook, Instagram ou Messenger pour en afficher le titre, la description et l'image en aperçu. En partie Non, user agent seulement
Diffbot Diffbot Diffbot Diffbot n'a publié aucune documentation sur son robot que nous ayons pu lire ; selon les listes communautaires, il extrait des données du web pour ses clients. Non documenté Non, user agent seulement
omgili Webz.io omgili La page de Webz.io sur son robot a refusé notre requête, nous n'avons donc pas pu la lire ; selon les listes communautaires, il collecte des données web que Webz.io revend. Non documenté Non, user agent seulement

Comment lire cet annuaire

« Respecte robots.txt » reprend ce que l'opérateur affirme dans sa propre documentation ; nous ne l'avons pas mesuré. Certains bots récupèrent une page parce qu'une personne l'a demandée, et leurs opérateurs disent que robots.txt peut alors ne pas s'appliquer.

« Vérifiable ? » indique si l'opérateur publie les adresses de son bot. Si c'est le cas, notre vérificateur de bots distingue une vraie visite d'une fausse. Sinon, le user agent est le seul indice, et n'importe qui peut le copier.

Les bots marqués « Non documenté » sont ceux dont l'opérateur ne publie rien que nous ayons pu lire ; leurs noms de user agent viennent de listes communautaires. Toutes les sources figurent sur la page des sources de données.