Vérificateur de robots IA : qui peut lire votre site

alinaschuerfeld.com

Nous n'avons pas encore analysé alinaschuerfeld.com avec cet outil. Cliquez sur le bouton ci-dessus pour le vérifier maintenant.

Trois sortes de robots IA

Les robots de recherche trouvent vos pages pour les réponses de l'IA. Les robots d'entraînement collectent des pages pour entraîner des modèles. Les robots à la demande ouvrent une page quand quelqu'un interroge un assistant à son sujet. Bloquer une sorte ne bloque pas les autres.

Comment nous le lisons

Selon la norme (RFC 9309), comme le lit le robot de chaque entreprise : le groupe qui le nomme, sinon le groupe * ; la règle la plus longue qui correspond l'emporte. Pour chaque robot, nous montrons la ligne qui décide. Nous ouvrons aussi votre page d'accueil une fois avec notre propre robot signé, pour voir si votre hébergeur laisse entrer les robots.

Ce qu'il ne fait pas

Nous ne nous faisons jamais passer pour le robot d'une autre entreprise. Et robots.txt est une demande, pas un verrou : certains éditeurs préviennent que leurs robots peuvent ne pas le suivre, et un hébergeur ou un pare-feu peut bloquer les robots quoi qu'il dise.

Questions

Si je bloque GPTBot, est-ce que je disparais de ChatGPT ?

Non. Selon OpenAI, GPTBot sert à l'entraînement et OAI-SearchBot à la recherche de ChatGPT ; chaque réglage est indépendant. Bloquez GPTBot et laissez OAI-SearchBot pour rester visible.

Bloquer Google-Extended me retire-t-il de Google ?

Non. Google indique que Google-Extended n'a aucun effet sur l'inclusion ni le classement dans la recherche ; il concerne l'entraînement de Gemini et l'ancrage de ses réponses. Les AI Overviews utilisent l'index habituel.

Pourquoi une IA ouvre encore ma page après blocage ?

Les robots qui visitent une page à la demande d'une personne, comme ChatGPT-User ou Perplexity-User, peuvent ne pas suivre robots.txt, selon leurs éditeurs. Et robots.txt est une demande, pas un verrou.

Mon robots.txt autorise tout, mais les IA ne lisent pas mon site. Pourquoi ?

Votre hébergeur ou votre pare-feu peut bloquer les robots avant robots.txt, par exemple une option de votre CDN qui bloque les robots d'IA. Nous vous disons si notre propre robot a été arrêté.

Et si mon robots.txt renvoie une erreur ?

Si /robots.txt répond par une erreur serveur (5xx), la norme (RFC 9309) demande aux robots de considérer tout le site comme interdit. S'il n'existe pas (404), tout est permis.

Faut-il bloquer les robots d'IA ?

C'est votre choix. Bloquer ceux d'entraînement garde vos pages hors des futurs modèles ; bloquer ceux de recherche vous retire des réponses d'IA. On peut faire l'un sans l'autre.

Autres outils gratuits

• Vérificateur de llms.txt
• Générateur de llms.txt
• Testeur de serveur MCP
• Vérificateur UCP et ACP
• Vérificateur de boîte de réception pour agents
• La vérification complète pour les agents IA (en anglais)
• Tous les outils gratuits

Guides

• robots.txt pour les agents IA (en anglais)
• Les informations d'entreprise que l'IA sait lire (en anglais)
• Ce que fait llms.txt, et ce qu'il ne fait pas (en anglais)