Audit de blocage robots
Entrez une URL : l'outil lit le robots.txt du site, applique la norme RFC 9309 pour chaque robot et vérifie aussi les directives noindex de la page.
Confidentialité et coût
Cet outil lance une analyse en direct sur nos serveurs. Un compte gratuit donne droit à 3 analyses en direct par jour au total pour tous ces outils. Votre rapport est conservé dans votre compte et vous pouvez le supprimer à tout moment.
Comment ça marche
- Nous récupérons /robots.txt et la page (deux requêtes).
- Le fichier est interprété selon la RFC 9309 : groupe le plus spécifique, règle la plus longue, Allow prioritaire à égalité, jokers * et $.
- Le résultat indique, par robot, si l'exploration est autorisée et quelle ligne décide, puis si la page porte noindex (meta ou X-Robots-Tag).
Exemple
Un robots.txt contenant « Disallow: /prive/ » bloque /prive/page pour tous les robots : l'outil affiche la ligne en cause. Si la page porte aussi un noindex, il prévient que Google ne pourra pas le lire.
Ce que signifie le résultat
Bloqué par robots.txt signifie que le robot ne visite pas l'URL, pas qu'elle disparaît de l'index : une URL bloquée mais liée peut être indexée sans contenu. Pour retirer une page, laissez-la explorable et utilisez noindex. Un robots.txt qui répond en 5xx est traité comme un blocage total.
Problèmes courants que cet outil aide à résoudre
- Une section stratégique bloquée par un Disallow trop large.
- Un noindex sur une page aussi bloquée par robots.txt : Google ne le voit jamais.
- Un robots.txt inaccessible (5xx) qui bloque tout le site.
- Des robots IA bloqués ou autorisés par erreur.
Questions fréquentes
Quelle norme est appliquée ?
La RFC 9309 (Robots Exclusion Protocol) : plus longue correspondance, Allow gagnant à égalité, sensibilité à la casse des chemins.
robots.txt empêche-t-il l'indexation ?
Non, il empêche l'exploration. Pour empêcher l'indexation, utilisez noindex sur une page explorable.
Un robot peut-il ignorer robots.txt ?
Oui, c'est une demande de bonne conduite, pas un contrôle d'accès. Ne protégez pas de contenu sensible avec robots.txt.
Outils associés
- Audit SEO d'une pageEntrez l'adresse d'une page : l'outil la télécharge, applique une cinquantaine de contrôles techniques et vous rend un score par catégorie avec les points à corriger.Compte gratuit · 3 analyses en direct/jour
- Vérificateur d'accès des robots IAEntrez un site : l'outil lit son robots.txt et indique, pour chaque robot d'IA connu, s'il peut explorer, quelle ligne décide, et à quoi sert ce robot : entraînement, recherche ou action d'un utilisateur.Compte gratuit · 3 analyses en direct/jour
- Vérificateur de chaînes de redirectionCollez une URL pour voir chaque redirection traversée avant la page finale, avec le code de statut et le temps de chaque saut.Compte gratuit · 3 analyses en direct/jour
- Audit GEO : préparation à la recherche IAEntrez une URL : l'outil contrôle les signaux techniques et éditoriaux qui rendent une page accessible et compréhensible pour les assistants de recherche IA, et note chacun d'eux.Compte gratuit · 3 analyses en direct/jour
- Audit hreflang en directEntrez une URL : l'outil lit ses balises hreflang (HTML et en-tête HTTP Link), puis visite jusqu'à huit alternatives pour vérifier qu'elles répondent et pointent bien vers votre page.Compte gratuit · 3 analyses en direct/jour