Sitemaps et robots.txt
Contrôlez ce que les moteurs explorent : sitemap XML, robots.txt et directives meta robots.
Outils : Sitemaps et robots.txt
- Générateur de robots.txtChoisissez un modèle, ajoutez votre sitemap et des règles pour un robot précis : le fichier robots.txt est généré et relu par un parseur RFC 9309 avant le téléchargement.Gratuit · dans votre navigateur
- Vérificateur de robots.txtCollez votre fichier ou saisissez un domaine. L'outil applique les règles de la RFC 9309, signale les erreurs et vous dit si un robot donné peut explorer une URL.Gratuit · sans compte
- Générateur de meta robotsCochez les directives voulues : l'outil produit la balise meta robots, l'en-tête X-Robots-Tag et les extraits Apache et Nginx correspondants.Gratuit · dans votre navigateur
- Vérificateur de meta robots et X-Robots-TagSaisissez une URL, ou collez le HTML et les en-têtes : l'outil lit toutes les directives robots, repère les contradictions et explique l'effet de chacune.Gratuit · sans compte
- Générateur de sitemap XMLCollez vos URL, une par ligne : l'outil produit un sitemap.xml valide, l'échappe correctement et le découpe avec un index si vous dépassez les limites.Gratuit · dans votre navigateur
- Validateur de sitemap XMLSaisissez l'adresse du sitemap ou collez son XML : l'outil vérifie la structure, les limites, chaque valeur et calcule le découpage nécessaire.Gratuit · sans compte
- Extracteur d'URL de sitemapSaisissez un sitemap ou un simple domaine : l'outil liste toutes les URL et leur lastmod, suit un index de sitemaps sur un niveau et exporte le résultat.Gratuit · sans compte
- Audit de blocage robotsEntrez une URL : l'outil lit le robots.txt du site, applique la norme RFC 9309 pour chaque robot et vérifie aussi les directives noindex de la page.Compte gratuit · 3 analyses en direct/jour