Générateur de robots.txt
Choisissez un modèle, ajoutez votre sitemap et des règles pour un robot précis : le fichier robots.txt est généré et relu par un parseur RFC 9309 avant le téléchargement.
Confidentialité et coût
Cet outil fonctionne dans votre navigateur. Ce que vous saisissez ou collez n'est pas envoyé à nos serveurs et l'utilisation est gratuite.
Comment ça marche
- Sélectionnez un modèle de départ : tout autoriser, tout bloquer, WordPress, e-commerce ou blocage des robots d'entraînement IA.
- Renseignez l'URL de votre sitemap et, si besoin, ajoutez un groupe de règles pour un robot précis (Bingbot, Googlebot-Image, GPTBot…).
- Copiez ou téléchargez le fichier, puis placez-le à la racine du domaine : https://votre-domaine/robots.txt.
Exemple
Le modèle WordPress avec le sitemap https://example.com/sitemap.xml produit 8 lignes de directives : Allow /wp-admin/admin-ajax.php, cinq règles Disallow (/wp-admin/, /wp-login.php, /?s=, /search/, /*?replytocom=) et la ligne Sitemap. Le parseur intégré ne signale aucune erreur.
Ce que signifie le résultat
robots.txt indique aux robots quelles URL ils peuvent explorer ; ce n'est pas un mécanisme de sécurité ni de désindexation. Une page bloquée peut rester indexée si d'autres sites la citent : pour l'exclure des résultats, utilisez noindex sur une page explorable. Seuls les robots qui respectent le protocole suivent ces règles.
Problèmes courants que cet outil aide à résoudre
- Un « Disallow: / » oublié après une mise en production bloque tout le site pour les moteurs.
- Un robots.txt mal écrit (directive avec faute, chemin sans slash) est ignoré sans avertissement.
- Bloquer les dossiers CSS et JavaScript empêche Google d'afficher correctement vos pages.
- Vouloir bloquer les robots d'IA sans connaître leurs noms d'user-agent exacts.
Questions fréquentes
Où placer le fichier robots.txt ?
À la racine du domaine, par exemple https://exemple.com/robots.txt. Chaque sous-domaine et chaque protocole a son propre fichier, et il ne s'applique pas aux sous-dossiers.
Bloquer GPTBot ou ClaudeBot suffit-il à empêcher l'entraînement d'une IA ?
C'est une demande adressée aux robots qui respectent robots.txt. Elle n'a pas d'effet sur ceux qui l'ignorent ni sur les copies déjà collectées. Le modèle « robots IA » de l'outil bloque les robots d'entraînement sans toucher à Google ou Bing.
Robots.txt peut-il retirer une page de Google ?
Non. Il contrôle l'exploration, pas l'indexation. Pour retirer une page, laissez-la explorable et ajoutez une balise meta robots noindex ou un en-tête X-Robots-Tag.
Outils associés
- Vérificateur de robots.txtCollez votre fichier ou saisissez un domaine. L'outil applique les règles de la RFC 9309, signale les erreurs et vous dit si un robot donné peut explorer une URL.Gratuit · sans compte
- Générateur de sitemap XMLCollez vos URL, une par ligne : l'outil produit un sitemap.xml valide, l'échappe correctement et le découpe avec un index si vous dépassez les limites.Gratuit · dans votre navigateur
- Générateur de meta robotsCochez les directives voulues : l'outil produit la balise meta robots, l'en-tête X-Robots-Tag et les extraits Apache et Nginx correspondants.Gratuit · dans votre navigateur
- Validateur de sitemap XMLSaisissez l'adresse du sitemap ou collez son XML : l'outil vérifie la structure, les limites, chaque valeur et calcule le découpage nécessaire.Gratuit · sans compte
- Générateur de balise canonicalCollez l'URL d'une page : l'outil la nettoie (https, paramètres de suivi, fragment, fichier index, slash final) et fournit la balise canonical et l'en-tête HTTP.Gratuit · dans votre navigateur
- Vérificateur d'accès des robots IAEntrez un site : l'outil lit son robots.txt et indique, pour chaque robot d'IA connu, s'il peut explorer, quelle ligne décide, et à quoi sert ce robot : entraînement, recherche ou action d'un utilisateur.Compte gratuit · 3 analyses en direct/jour