Comprobador gratis de robots.txt para IA
Comprobador de rastreadores de IA: quién puede leer tu web
Escribe tu web. Leemos tu robots.txt como lo haría el rastreador de cada empresa de IA y te mostramos quién puede encontrarte, quién puede entrenar con tu contenido y qué línea lo decide.
O pega tu robots.txt
Gratis, sin registro y sin email. La mayoría de las respuestas tardan unos segundos.
d-structure.com
Todavía no hemos revisado d-structure.com con esta herramienta. Pulsa el botón de arriba para revisarlo ahora.
Tres tipos de rastreador de IA
Los rastreadores de búsqueda encuentran tus páginas para las respuestas de la IA. Los de entrenamiento recogen páginas para entrenar modelos. Los que leen a petición abren una página cuando una persona le pregunta por ella a un asistente. Bloquear un tipo no bloquea los otros.
Cómo lo leemos
Según el estándar (RFC 9309), como lo lee el rastreador de cada empresa: el grupo que lo nombra o, si no, el grupo *; gana la regla más larga que coincide. Para cada rastreador mostramos la línea que decide. Además abrimos tu página de inicio una vez con nuestro propio rastreador firmado, para ver si tu servidor deja entrar a los rastreadores.
Lo que no hace
Nunca nos hacemos pasar por el bot de otra empresa. Y robots.txt es una petición, no un candado: algunas empresas avisan de que sus rastreadores quizá no lo sigan, y un servidor o un cortafuegos puede bloquear rastreadores diga lo que diga.
Preguntas
Si bloqueo GPTBot, ¿desaparezco de ChatGPT?
No. Según OpenAI, GPTBot sirve para entrenar modelos y OAI-SearchBot para la búsqueda de ChatGPT, y cada ajuste es independiente. Bloquea GPTBot y deja OAI-SearchBot para seguir apareciendo.
¿Bloquear Google-Extended me quita de Google?
No. Google dice que Google-Extended no afecta a la inclusión ni al ranking en la Búsqueda, solo al uso para entrenar Gemini y fundamentar sus respuestas. Los AI Overviews usan el índice normal.
¿Por qué una IA abre mi página aunque la bloqueé?
Los sistemas que visitan una página cuando una persona lo pide, como ChatGPT-User o Perplexity-User, pueden no seguir robots.txt, según sus propias empresas. Y robots.txt es una petición, no un candado.
Mi robots.txt lo permite todo, pero las IA no leen mi web. ¿Por qué?
Tu hosting o tu cortafuegos pueden bloquear bots antes de llegar a robots.txt, por ejemplo una opción de tu CDN que bloquea bots de IA. Te avisamos si nuestro propio rastreador fue detenido.
¿Y si mi robots.txt da error?
Si /robots.txt responde con un error de servidor (5xx), el estándar (RFC 9309) dice que los rastreadores traten toda la web como prohibida. Si no existe (404), todo está permitido.
¿Debo bloquear los rastreadores de IA?
Tú decides. Bloquear los de entrenamiento deja tus páginas fuera de modelos futuros; bloquear los de búsqueda te deja fuera de las respuestas de IA. Puedes hacer una cosa sin la otra.
Más herramientas gratis
- Comprobador de llms.txt
- Generador de llms.txt
- Probador de servidores MCP
- Comprobador de UCP y ACP
- Comprobador de bandejas para agentes
- La revisión completa para agentes de IA (en inglés)
- Todas las herramientas gratis
Guías