Generador de robots.txt
Elige una plantilla, añade tu sitemap y reglas para rastreadores concretos. El robots.txt se genera y un analizador RFC 9309 lo revisa antes de descargarlo.
Privacidad y coste
Esta herramienta funciona en tu navegador. Lo que escribes o pegas no se envía a nuestros servidores y usarla es gratis.
Cómo funciona
- Elige una plantilla de partida: permitir todo, bloquear todo, WordPress, tienda online o bloqueo de rastreadores de entrenamiento de IA.
- Indica la URL de tu sitemap y, si hace falta, añade un grupo de reglas para un rastreador (Bingbot, Googlebot-Image, GPTBot…).
- Copia o descarga el archivo y súbelo a la raíz de tu dominio: https://tu-dominio/robots.txt.
Ejemplo
La plantilla de WordPress con el sitemap https://example.com/sitemap.xml genera 8 líneas de directivas: Allow /wp-admin/admin-ajax.php, cinco reglas Disallow (/wp-admin/, /wp-login.php, /?s=, /search/, /*?replytocom=) y la línea Sitemap. El analizador integrado no detecta ningún error.
Qué significa el resultado
robots.txt indica a los rastreadores qué URL pueden rastrear. No es una medida de seguridad ni una forma de desindexar: una URL bloqueada puede seguir indexada si otros sitios la enlazan. Para sacar una página de los resultados, déjala rastreable y usa noindex. Solo lo cumplen los rastreadores que respetan el protocolo.
Problemas habituales que ayuda a resolver
- Un «Disallow: /» olvidado tras un lanzamiento bloquea todo el sitio a los buscadores.
- Una directiva mal escrita o una ruta sin barra inicial se ignora sin avisar.
- Bloquear las carpetas de CSS y JavaScript impide a Google renderizar bien tus páginas.
- Querer bloquear rastreadores de IA sin conocer sus nombres exactos de user-agent.
Preguntas frecuentes
¿Dónde se coloca el robots.txt?
En la raíz del host, por ejemplo https://ejemplo.com/robots.txt. Cada subdominio y cada protocolo tiene su propio archivo, y no se aplica a subcarpetas.
¿Bloquear GPTBot o ClaudeBot impide el entrenamiento de IA?
Es una petición a los rastreadores que respetan robots.txt. No afecta a los que lo ignoran ni a los datos ya recogidos. La plantilla de IA de la herramienta bloquea solo rastreadores de entrenamiento y no toca a Google ni a Bing.
¿Puede robots.txt quitar una página de Google?
No. Controla el rastreo, no la indexación. Para quitar una página, déjala rastreable y añade una etiqueta meta robots noindex o una cabecera X-Robots-Tag.
Herramientas relacionadas
- Verificador de robots.txtPega tu archivo o escribe un dominio. La herramienta aplica las reglas de la RFC 9309, señala errores e indica si un rastreador concreto puede acceder a una URL.Gratis · sin cuenta
- Generador de sitemap XMLPega tus URL, una por línea: la herramienta genera un sitemap.xml válido, con el escapado correcto, y lo divide con un índice si superas los límites.Gratis · en tu navegador
- Generador de meta robotsMarca las directivas que necesitas: la herramienta genera la etiqueta meta robots, la cabecera X-Robots-Tag y los fragmentos equivalentes para Apache y Nginx.Gratis · en tu navegador
- Validador de sitemap XMLEscribe la dirección del sitemap o pega su XML: la herramienta revisa la estructura, los límites y cada valor, y calcula cuántos archivos necesitas.Gratis · sin cuenta
- Generador de etiqueta canonicalPega la URL de una página: la herramienta la limpia (https, parámetros de seguimiento, fragmento, archivo index, barra final) y genera la etiqueta canonical y la cabecera HTTP.Gratis · en tu navegador
- Verificador de acceso de rastreadores IAIntroduce un sitio: la herramienta lee su robots.txt y muestra, para cada rastreador de IA conocido, si puede rastrear, qué línea decide y para qué sirve: entrenamiento, búsqueda o acción de un usuario.Cuenta gratuita · 3 análisis en vivo/día