Annuaire des bots et de l'IA
34 robots d'exploration et bots d'IA : qui exploite chacun, ce qu'il collecte, le nom à utiliser dans robots.txt, si son opérateur dit qu'il respecte robots.txt et si vous pouvez prouver qu'une visite est authentique. Les faits viennent de la documentation de chaque opérateur ; quand il n'y en a pas, nous le disons.
Registre vérifié le 11 nov. 2026. Les listes d'adresses sont téléchargées toutes les 6 heures.
Moteur de recherche
| Bot | Opérateur | Nom dans robots.txt | Ce qu'il fait | Respecte robots.txt | Vérifiable ? |
|---|---|---|---|---|---|
| Googlebot | Googlebot |
Explore le web pour la recherche Google. | Oui | Oui, par plages IP et DNS inverse | |
| Bingbot | Microsoft | bingbot |
Explore le web pour le moteur de recherche Bing. | Non documenté | Oui, par plages IP |
| Applebot | Apple | Applebot |
Explore le web pour les fonctions de recherche d'Apple dans Siri, Spotlight et Safari ; les données peuvent aussi servir à entraîner les modèles de base d'Apple. | Oui | Oui, par plages IP et DNS inverse |
| DuckDuckBot | DuckDuckGo | DuckDuckBot |
Explore le web pour améliorer les résultats de recherche de DuckDuckGo. | Oui | Oui, par plages IP |
| OAI-SearchBot | OpenAI | OAI-SearchBot |
Trouve et cite des sites dans les réponses de recherche de ChatGPT. Il ne sert pas à entraîner les modèles. | Oui | Oui, par plages IP |
| PerplexityBot | Perplexity | PerplexityBot |
Trouve et cite des sites dans les résultats de recherche de Perplexity. Selon Perplexity, il ne collecte pas de contenu pour les modèles d'IA de base. | Oui | Oui, par plages IP |
| Claude-SearchBot | Anthropic | Claude-SearchBot |
Parcourt le web pour améliorer la qualité des résultats de recherche des utilisateurs de Claude. | Oui | Oui, par plages IP |
| Amzn-SearchBot | Amazon | Amzn-SearchBot |
Améliore la recherche dans les produits et services d'Amazon. Selon Amazon, il ne collecte pas de contenu pour entraîner l'IA générative. | Oui | Oui, par plages IP |
| meta-webindexer | Meta | meta-webindexer |
Indexe des pages web pour la recherche dans Meta AI. | Oui | Non, user agent seulement |
Entraînement d'IA
| Bot | Opérateur | Nom dans robots.txt | Ce qu'il fait | Respecte robots.txt | Vérifiable ? |
|---|---|---|---|---|---|
| Google-Extended | Google-Extended |
Un réglage de robots.txt, pas un robot : il décide si les pages que Google explore déjà peuvent servir à entraîner et à alimenter les modèles Gemini. Il n'a aucun effet sur la recherche Google. | Une règle robots.txt | Pas un robot d'exploration | |
| Applebot-Extended | Apple | Applebot-Extended |
Un réglage de robots.txt, pas un robot : il décide si les pages explorées par Applebot peuvent servir à entraîner les modèles génératifs d'Apple. | Une règle robots.txt | Pas un robot d'exploration |
| GPTBot | OpenAI | GPTBot |
Collecte des contenus qui peuvent servir à entraîner les modèles d'IA générative d'OpenAI. | Oui | Oui, par plages IP |
| ClaudeBot | Anthropic | ClaudeBot |
Collecte des contenus web qui peuvent contribuer à l'entraînement des modèles Claude d'Anthropic. Il prend aussi en charge Crawl-delay. | Oui | Oui, par plages IP |
| CCBot | Common Crawl | CCBot |
Constitue l'archive libre et ouverte du web de Common Crawl, que chacun peut télécharger, y compris les développeurs d'IA. | Oui | Oui, par plages IP et DNS inverse |
| meta-externalagent | Meta | meta-externalagent |
Explore le web pour des usages comme l'entraînement des modèles d'IA de base de Meta ou l'amélioration de ses produits par l'indexation. | Oui | Non, user agent seulement |
| Amazonbot | Amazon | Amazonbot |
Améliore les produits et services d'Amazon ; les contenus peuvent servir à entraîner les modèles d'IA d'Amazon. | Oui | Oui, par plages IP |
| Bytespider | ByteDance | Bytespider |
ByteDance, la maison mère de TikTok, n'a publié aucune documentation ; les listes communautaires le présentent comme un robot qui collecte des données pour entraîner l'IA. | Non documenté | Non, user agent seulement |
| Timpibot | Timpi | Timpibot |
Timpi n'a publié aucune documentation que nous ayons pu lire ; selon les listes communautaires, il collecte des données pour entraîner des modèles d'IA. | Non documenté | Non, user agent seulement |
| FacebookBot | Meta | FacebookBot |
Un ancien jeton de robot de Meta que la documentation actuelle de Meta ne mentionne plus ; les listes communautaires l'incluent encore pour l'entraînement de l'IA. | Non documenté | Non, user agent seulement |
Requêtes d'assistants IA
| Bot | Opérateur | Nom dans robots.txt | Ce qu'il fait | Respecte robots.txt | Vérifiable ? |
|---|---|---|---|---|---|
| ChatGPT-User | OpenAI | ChatGPT-User |
Consulte une page quand quelqu'un pose une question à ChatGPT ou à un GPT personnalisé. Il n'explore pas le web automatiquement. | En partie | Oui, par plages IP |
| Perplexity-User | Perplexity | Perplexity-User |
Consulte une page quand quelqu'un pose à Perplexity une question qui en a besoin. Il ne sert ni à explorer le web ni à entraîner des modèles d'IA. | En général non | Oui, par plages IP |
| Claude-User | Anthropic | Claude-User |
Consulte une page quand un utilisateur de Claude pose une question qui en a besoin. | Oui | Oui, par plages IP |
| meta-externalfetcher | Meta | meta-externalfetcher |
Récupère des liens précis à la demande d'un utilisateur, par exemple pour les fonctions d'assistant IA de Meta. | En partie | Non, user agent seulement |
| Amzn-User | Amazon | Amzn-User |
Récupère des pages pour des actions d'utilisateurs, comme répondre à une question posée à Alexa qui demande des informations à jour. Selon Amazon, il ne collecte rien pour entraîner l'IA. | En partie | Oui, par plages IP |
| cohere-ai | Cohere | cohere-ai |
Cohere n'a publié aucune documentation que nous ayons pu lire ; selon les listes communautaires, il récupère des pages pour répondre aux demandes des utilisateurs. | Non documenté | Non, user agent seulement |
Robot SEO
| Bot | Opérateur | Nom dans robots.txt | Ce qu'il fait | Respecte robots.txt | Vérifiable ? |
|---|---|---|---|---|---|
| AhrefsBot | Ahrefs | AhrefsBot, AhrefsSiteAudit |
Explore le web pour la base de liens et de données SEO d'Ahrefs. AhrefsSiteAudit audite des sites à la demande de leurs propriétaires. | Oui | Oui, par plages IP et DNS inverse |
| SemrushBot | Semrush | SemrushBot |
Explore le web pour les outils SEO et marketing de Semrush. Semrush indique ne pas utiliser de blocs d'IP fixes. | Oui | Non, user agent seulement |
| DotBot | Moz | dotbot |
Explore le web pour le Moz Link Index, qui alimente Link Explorer et l'API de Moz. | Oui | Non, user agent seulement |
| MJ12bot | Majestic | MJ12bot |
Explore le web pour l'index de liens de Majestic. Il tourne sur les ordinateurs de bénévoles, ses adresses sont donc dispersées dans le monde entier. | Oui | Non, user agent seulement |
Autres
| Bot | Opérateur | Nom dans robots.txt | Ce qu'il fait | Respecte robots.txt | Vérifiable ? |
|---|---|---|---|---|---|
| Google special-case crawlers | – | Des robots de Google pour des produits précis, comme la vérification des pages de destination des annonces, qui agissent selon un accord avec le site. | En partie | Oui, par plages IP et DNS inverse | |
| Google user-triggered fetchers | – | Récupèrent une page parce qu'une personne l'a demandé à un produit Google, par exemple un lecteur de flux ou une validation de site. | En général non | Oui, par plages IP et DNS inverse | |
| facebookexternalhit | Meta | facebookexternalhit |
Récupère les pages partagées sur Facebook, Instagram ou Messenger pour en afficher le titre, la description et l'image en aperçu. | En partie | Non, user agent seulement |
| Diffbot | Diffbot | Diffbot |
Diffbot n'a publié aucune documentation sur son robot que nous ayons pu lire ; selon les listes communautaires, il extrait des données du web pour ses clients. | Non documenté | Non, user agent seulement |
| omgili | Webz.io | omgili |
La page de Webz.io sur son robot a refusé notre requête, nous n'avons donc pas pu la lire ; selon les listes communautaires, il collecte des données web que Webz.io revend. | Non documenté | Non, user agent seulement |
Comment lire cet annuaire
« Respecte robots.txt » reprend ce que l'opérateur affirme dans sa propre documentation ; nous ne l'avons pas mesuré. Certains bots récupèrent une page parce qu'une personne l'a demandée, et leurs opérateurs disent que robots.txt peut alors ne pas s'appliquer.
« Vérifiable ? » indique si l'opérateur publie les adresses de son bot. Si c'est le cas, notre vérificateur de bots distingue une vraie visite d'une fausse. Sinon, le user agent est le seul indice, et n'importe qui peut le copier.
Les bots marqués « Non documenté » sont ceux dont l'opérateur ne publie rien que nous ayons pu lire ; leurs noms de user agent viennent de listes communautaires. Toutes les sources figurent sur la page des sources de données.