Design

Kostenloser robots.txt-Check für KI

KI-Crawler-Check: Wer darf Ihre Website lesen?

Geben Sie Ihre Website ein. Wir lesen Ihre robots.txt so, wie es der Crawler jedes KI-Anbieters tut, und zeigen, wer Sie finden darf, wer mit Ihren Inhalten trainieren darf und welche Zeile das entscheidet.

Oder fügen Sie Ihre robots.txt ein
Nichts, was Sie einfügen, wird gespeichert.

Kostenlos, ohne Anmeldung und ohne E-Mail. Die meisten Antworten dauern ein paar Sekunden.

lenadance.com

Wir haben lenadance.com mit diesem Tool noch nicht geprüft. Klicken Sie oben auf den Knopf, um es jetzt zu prüfen.

Drei Arten von KI-Crawlern

Such-Crawler finden Ihre Seiten für KI-Antworten. Trainings-Crawler sammeln Seiten, um Modelle zu trainieren. Abrufer auf Anfrage öffnen eine Seite, wenn jemand einen Assistenten danach fragt. Wer eine Art sperrt, sperrt die anderen nicht.

So lesen wir sie

Nach dem Standard (RFC 9309), wie der Crawler jedes Unternehmens sie liest: die Gruppe, die ihn nennt, sonst die *-Gruppe; die längste passende Regel gilt. Für jeden Crawler zeigen wir die entscheidende Zeile. Außerdem öffnen wir Ihre Startseite einmal mit unserem eigenen, signierten Crawler, um zu sehen, ob Ihr Hoster Crawler hereinlässt.

Was der Check nicht tut

Wir geben uns nie als Bot eines anderen Unternehmens aus. Und robots.txt ist eine Bitte, kein Schloss: Manche Abrufer sagen, dass sie sich nicht immer daran halten, und ein Hoster oder eine Firewall kann Crawler sperren, egal was darin steht.

Fragen

Verschwinde ich aus ChatGPT, wenn ich GPTBot blockiere?

Nein. Laut OpenAI dient GPTBot dem Training und OAI-SearchBot der ChatGPT-Suche; beide Einstellungen sind unabhängig. Blockieren Sie GPTBot und lassen Sie OAI-SearchBot zu, um gefunden zu werden.

Entfernt mich das Blockieren von Google-Extended aus Google?

Nein. Laut Google beeinflusst Google-Extended weder Aufnahme noch Ranking in der Suche, sondern nur die Nutzung für Gemini-Training und -Antworten. KI-Übersichten nutzen den normalen Suchindex.

Warum öffnet eine KI meine Seite trotz Sperre?

Abrufe, die eine Person auslöst, etwa durch ChatGPT-User oder Perplexity-User, folgen laut den Anbietern der robots.txt womöglich nicht. Und robots.txt ist eine Bitte, kein Schloss.

Meine robots.txt erlaubt alles, trotzdem liest keine KI meine Seite. Warum?

Ihr Hoster oder Ihre Firewall blockiert Bots womöglich vorher, etwa eine CDN-Einstellung, die KI-Bots sperrt. Wir sagen Ihnen, ob unser eigener, signierter Crawler gestoppt wurde.

Was passiert, wenn meine robots.txt einen Fehler liefert?

Antwortet /robots.txt mit einem Serverfehler (5xx), sollen Crawler laut Standard (RFC 9309) die ganze Website als gesperrt behandeln. Fehlt die Datei (404), ist alles erlaubt.

Sollte ich KI-Crawler blockieren?

Das entscheiden Sie. Trainings-Crawler zu sperren hält Ihre Seiten aus künftigen Modellen heraus; Such-Crawler zu sperren nimmt Sie aus KI-Antworten. Das eine geht ohne das andere.

Weitere kostenlose Tools

Ratgeber