Verificador grátis de robots.txt para IA

Verificador de rastreadores de IA: quem pode ler o seu site

Digite seu site. Lemos o seu robots.txt como o rastreador de cada empresa de IA leria e mostramos quem pode encontrar você, quem pode treinar com o seu conteúdo e a linha que decide.

Ou cole o seu robots.txt

Grátis, sem cadastro e sem e-mail. A maioria das respostas leva alguns segundos.

zhor.com

Ainda não verificamos zhor.com com esta ferramenta. Clique no botão acima para verificar agora.

Três tipos de rastreador de IA

Os rastreadores de busca encontram suas páginas para as respostas da IA. Os de treinamento coletam páginas para treinar modelos. Os que leem sob demanda abrem uma página quando alguém pergunta sobre ela a um assistente. Bloquear um tipo não bloqueia os outros.

Como lemos

Segundo o padrão (RFC 9309), como o rastreador de cada empresa lê: o grupo que o cita ou, se não houver, o grupo *; vence a regra mais longa que corresponde. Para cada rastreador mostramos a linha que decide. Também abrimos a sua página inicial uma vez com o nosso próprio rastreador assinado, para ver se o seu servidor deixa os rastreadores entrarem.

O que ele não faz

Nunca fingimos ser o bot de outra empresa. E o robots.txt é um pedido, não uma tranca: algumas empresas avisam que os rastreadores delas talvez não o sigam, e um servidor ou firewall pode bloquear rastreadores independentemente do que ele diga.

Perguntas

Se eu bloquear o GPTBot, sumo do ChatGPT?

Não. Segundo a OpenAI, o GPTBot serve para treinar modelos e o OAI-SearchBot para a busca do ChatGPT; cada ajuste é independente. Bloqueie o GPTBot e mantenha o OAI-SearchBot para continuar aparecendo.

Bloquear o Google-Extended me tira do Google?

Não. O Google diz que o Google-Extended não afeta a inclusão nem o ranking na Busca, só o uso para treinar o Gemini e embasar respostas. Os AI Overviews usam o índice normal da Busca.

Por que uma IA ainda abre minha página depois do bloqueio?

Os sistemas que abrem uma página quando uma pessoa pede, como ChatGPT-User e Perplexity-User, podem não seguir o robots.txt, segundo as próprias empresas. E o robots.txt é um pedido, não uma tranca.

Meu robots.txt libera tudo, mas as IAs não leem meu site. Por quê?

Sua hospedagem ou firewall pode bloquear robôs antes do robots.txt, como uma opção do seu CDN que bloqueia bots de IA. Avisamos se o nosso próprio rastreador foi barrado.

E se o meu robots.txt der erro?

Se /robots.txt responder com erro de servidor (5xx), o padrão (RFC 9309) manda os rastreadores tratarem o site inteiro como proibido. Se não existir (404), tudo é permitido.

Devo bloquear os rastreadores de IA?

A decisão é sua. Bloquear os de treino deixa suas páginas fora de modelos futuros; bloquear os de busca tira você das respostas de IA. Dá para fazer um sem o outro.

Mais ferramentas grátis

Guias

robots.txt para agentes de IA (em inglês)
Dados do negócio que a IA consegue ler (em inglês)
O que o llms.txt faz e o que não faz (em inglês)