Vérificateur d'accès des robots IA
Entrez un site : l'outil lit son robots.txt et indique, pour chaque robot d'IA connu, s'il peut explorer, quelle ligne décide, et à quoi sert ce robot : entraînement, recherche ou action d'un utilisateur.
Confidentialité et coût
Cet outil lance une analyse en direct sur nos serveurs. Un compte gratuit donne droit à 3 analyses en direct par jour au total pour tous ces outils. Votre rapport est conservé dans votre compte et vous pouvez le supprimer à tout moment.
Comment ça marche
- Une seule requête récupère le fichier /robots.txt du site.
- Chaque robot est évalué selon la RFC 9309 (groupe le plus précis, règle la plus longue, Allow prioritaire à égalité).
- Le tableau donne l'éditeur, l'usage, l'état autorisé ou bloqué et la règle en cause, avec une synthèse par usage.
Exemple
Avec « User-agent: GPTBot / Disallow: / », GPTBot (entraînement) apparaît bloqué alors qu'OAI-SearchBot (recherche) reste autorisé tant qu'aucune règle ne le vise.
Ce que signifie le résultat
Bloquer un robot d'entraînement empêche la collecte pour entraîner des modèles ; bloquer un robot de recherche peut réduire la présence dans les réponses IA. Robots.txt reste une demande : certains agents agissant à la demande d'un utilisateur (par exemple ChatGPT-User, Perplexity-User) peuvent ne pas la suivre, selon leurs éditeurs.
Problèmes courants que cet outil aide à résoudre
- Un Disallow: / pour tous les robots qui bloque aussi les robots de recherche IA.
- Bloquer GPTBot en pensant bloquer aussi la recherche ChatGPT (OAI-SearchBot est distinct).
- Des jetons obsolètes comme anthropic-ai encore présents.
- Un robots.txt inaccessible traité comme un blocage total.
Questions fréquentes
Quelle différence entre GPTBot et OAI-SearchBot ?
GPTBot sert à collecter des données pour l'entraînement des modèles d'OpenAI ; OAI-SearchBot alimente la recherche. Ils se règlent séparément dans robots.txt.
Google-Extended est-il un robot à part ?
C'est un jeton de contrôle : il n'a pas de user-agent HTTP propre et gouverne l'usage de votre contenu par certains produits d'IA de Google. Il n'affecte pas l'indexation dans la Recherche.
La liste est-elle complète ?
Non. Elle reprend les robots documentés par leurs éditeurs à la date indiquée dans le résultat, et évolue régulièrement.
Outils associés
- Vérificateur llms.txtEntrez un site : l'outil récupère /llms.txt (et repère /llms-full.txt), contrôle son format selon la proposition llmstxt.org et teste un échantillon des pages liées.Compte gratuit · 3 analyses en direct/jour
- Audit GEO : préparation à la recherche IAEntrez une URL : l'outil contrôle les signaux techniques et éditoriaux qui rendent une page accessible et compréhensible pour les assistants de recherche IA, et note chacun d'eux.Compte gratuit · 3 analyses en direct/jour
- Audit de blocage robotsEntrez une URL : l'outil lit le robots.txt du site, applique la norme RFC 9309 pour chaque robot et vérifie aussi les directives noindex de la page.Compte gratuit · 3 analyses en direct/jour
- Audit SEO d'une pageEntrez l'adresse d'une page : l'outil la télécharge, applique une cinquantaine de contrôles techniques et vous rend un score par catégorie avec les points à corriger.Compte gratuit · 3 analyses en direct/jour
- Détecteur de technologies et CMSEntrez une URL : l'outil compare les en-têtes de réponse, le HTML, les scripts et les cookies à une liste de signatures et montre ce qu'il a trouvé, avec un niveau de confiance et l'indice correspondant.Compte gratuit · 3 analyses en direct/jour