Controllo crawler IA: chi può leggere il tuo sito

emirtex.de

Non abbiamo ancora analizzato emirtex.de con questo strumento. Premi il pulsante qui sopra per verificarlo ora.

Tre tipi di crawler IA

I crawler di ricerca trovano le tue pagine per le risposte dell'IA. I crawler di addestramento raccolgono pagine per addestrare i modelli. I lettori su richiesta aprono una pagina quando qualcuno chiede a un assistente di parlarne. Bloccare un tipo non blocca gli altri.

Come lo leggiamo

Secondo lo standard (RFC 9309), come lo legge il crawler di ogni azienda: il gruppo che lo nomina, altrimenti il gruppo *; vince la regola corrispondente più lunga. Per ogni crawler mostriamo la riga che decide. Apriamo anche la tua home page una volta con il nostro crawler firmato, per vedere se il tuo hosting fa entrare i crawler.

Cosa non fa

Non ci spacciamo mai per il bot di un'altra azienda. E robots.txt è una richiesta, non un lucchetto: alcune aziende avvertono che i loro crawler potrebbero non seguirlo, e un hosting o un firewall può bloccare i crawler qualunque cosa dica.

Domande

Se blocco GPTBot sparisco da ChatGPT?

No. Secondo OpenAI, GPTBot serve all'addestramento e OAI-SearchBot alla ricerca di ChatGPT; ogni impostazione è indipendente. Blocca GPTBot e lascia OAI-SearchBot per continuare a comparire.

Bloccare Google-Extended mi toglie da Google?

No. Google dice che Google-Extended non incide sull'inclusione né sul posizionamento nella Ricerca, ma solo sull'uso per addestrare Gemini e fondarne le risposte. Le AI Overview usano l'indice normale.

Perché un'IA apre ancora la mia pagina dopo il blocco?

I sistemi che aprono una pagina quando lo chiede una persona, come ChatGPT-User o Perplexity-User, possono non seguire robots.txt, dicono le aziende stesse. E robots.txt è una richiesta, non un lucchetto.

Il mio robots.txt permette tutto ma le IA non leggono il sito. Perché?

Il tuo hosting o il firewall possono bloccare i bot prima di robots.txt, ad esempio un'opzione del tuo CDN che blocca i bot di IA. Ti diciamo se il nostro crawler, firmato, è stato fermato.

E se il mio robots.txt dà errore?

Se /robots.txt risponde con un errore del server (5xx), lo standard (RFC 9309) dice ai crawler di considerare vietato tutto il sito. Se non esiste (404), è tutto permesso.

Devo bloccare i crawler di IA?

Decidi tu. Bloccare quelli di addestramento tiene le tue pagine fuori dai modelli futuri; bloccare quelli di ricerca ti toglie dalle risposte dell'IA. Puoi fare l'uno senza l'altro.

Altri strumenti gratuiti

• Verifica di llms.txt
• Generatore di llms.txt
• Tester per server MCP
• Verifica UCP e ACP
• Verifica della casella per agenti
• La verifica completa per gli agenti IA (in inglese)
• Tutti gli strumenti gratuiti

Guide

• robots.txt per gli agenti IA (in inglese)
• I dati dell'attività che l'IA sa leggere (in inglese)
• Cosa fa llms.txt e cosa no (in inglese)