Verificador de acceso de rastreadores IA
Introduce un sitio: la herramienta lee su robots.txt y muestra, para cada rastreador de IA conocido, si puede rastrear, qué línea decide y para qué sirve: entrenamiento, búsqueda o acción de un usuario.
Privacidad y coste
Esta herramienta hace un análisis en vivo en nuestros servidores. Una cuenta gratuita incluye 3 análisis en vivo al día en total entre todas estas herramientas. Tu informe se guarda en tu cuenta y puedes borrarlo cuando quieras.
Cómo funciona
- Una sola petición obtiene el archivo /robots.txt del sitio.
- Cada rastreador se evalúa según la RFC 9309 (grupo más específico, regla más larga, Allow gana en empate).
- La tabla muestra el operador, la finalidad, el estado permitido o bloqueado y la regla responsable, con un resumen por finalidad.
Ejemplo
Con «User-agent: GPTBot / Disallow: /», GPTBot (entrenamiento) aparece bloqueado mientras OAI-SearchBot (búsqueda) sigue permitido si ninguna regla lo menciona.
Qué significa el resultado
Bloquear un rastreador de entrenamiento impide la recopilación para entrenar modelos; bloquear uno de búsqueda puede reducir la presencia en respuestas de IA. Robots.txt sigue siendo una petición: algunos agentes que actúan a petición de un usuario (por ejemplo ChatGPT-User, Perplexity-User) pueden no seguirlo, según sus operadores.
Problemas habituales que ayuda a resolver
- Un Disallow: / para todos los robots que bloquea también los rastreadores de búsqueda con IA.
- Bloquear GPTBot creyendo que también bloquea la búsqueda de ChatGPT (OAI-SearchBot es distinto).
- Tokens obsoletos como anthropic-ai aún presentes.
- Un robots.txt inaccesible tratado como bloqueo total.
Preguntas frecuentes
¿Qué diferencia hay entre GPTBot y OAI-SearchBot?
GPTBot recopila datos para entrenar los modelos de OpenAI; OAI-SearchBot alimenta la búsqueda. Se configuran por separado en robots.txt.
¿Google-Extended es un rastreador aparte?
Es un token de control: no tiene user-agent HTTP propio y regula el uso de tu contenido por ciertos productos de IA de Google. No afecta a la indexación en Búsqueda.
¿La lista es completa?
No. Recoge los rastreadores documentados por sus operadores a la fecha indicada en el resultado y cambia con regularidad.
Herramientas relacionadas
- Verificador de llms.txtIntroduce un sitio: la herramienta obtiene /llms.txt (y busca /llms-full.txt), comprueba su formato según la propuesta de llmstxt.org y prueba una muestra de las páginas enlazadas.Cuenta gratuita · 3 análisis en vivo/día
- Auditoría GEO: preparación para la búsqueda con IAIntroduce una URL: la herramienta revisa las señales técnicas y editoriales que hacen que una página sea accesible y comprensible para los asistentes de búsqueda con IA, y puntúa cada una.Cuenta gratuita · 3 análisis en vivo/día
- Auditoría de bloqueo robotsIntroduce una URL: la herramienta lee el robots.txt del sitio, aplica la RFC 9309 a cada rastreador y revisa también las directivas noindex de la página.Cuenta gratuita · 3 análisis en vivo/día
- Auditoría SEO de una páginaIntroduce la dirección de una página: la herramienta la descarga, aplica unas cincuenta comprobaciones técnicas y devuelve una puntuación por categoría con lo que conviene corregir.Cuenta gratuita · 3 análisis en vivo/día
- Detector de tecnologías y CMSIntroduce una URL: la herramienta compara cabeceras de respuesta, HTML, scripts y cookies con una lista de firmas y muestra lo que encuentra, con un nivel de confianza y la pista correspondiente.Cuenta gratuita · 3 análisis en vivo/día