AI-Bot-Policy lesen: was Ihre robots.txt zu GPTBot, ClaudeBot und Co. sagt

Der Check liest die robots.txt auf Regeln für sieben AI-Crawler. Er bewertet nicht, er zeigt: geblockt, erlaubt oder gar keine Entscheidung.

Was wird geprüft

Im HTTP: Der Scan holt die robots.txt und sucht eigene User-agent-Gruppen für sieben Crawler: GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, CCBot, Google-Extended und Applebot-Extended. Steht in einer Gruppe ein Disallow: / allein auf einer Zeile, gilt der Bot als geblockt; jede andere Gruppe zählt als ausdrücklich erlaubt. Daraus entsteht eine von vier Zeilen: keine Regeln (Default ist erlauben), alle genannten geblockt, gemischt, oder robots.txt nicht erreichbar. Alle vier sind Hinweise, keine Bewertung.

Was der Scan nicht sieht: Bots außerhalb der Liste, Teilsperren einzelner Pfade, Regeln, die ein CDN oder eine Bot-Abwehr unabhängig von der Datei durchsetzt, und ob ein Crawler sich an die Datei hält.

Warum ist das wichtig

Die Datei entscheidet, ob Ihre Inhalte in Trainingsdaten landen und, je nach Bot, ob sie in AI-Antworten zitiert werden. Beides ist ein Marketing-Thema, keins für den Server-Admin, und trotzdem hat es bei den meisten Sites niemand entschieden. Die Default-Erlaubnis gilt einfach. Der Scan macht den Zustand sichtbar, damit die Entscheidung mit Marketing und Legal fällt statt per Zufall. Was die Datei dagegen nicht kann: Zugriff erzwingen. Sie ist eine Konvention, die seriöse Crawler respektieren. Der Rest liest, was er lesen will.

Häufige Ursachen

Die robots.txt enthält keine Regeln für AI-Crawler, für GPTBot & Co. gilt dann die Default-Erlaubnis, oft unbewusst.
Eine Pauschal-Blockade aus der Copyright-Debatte sperrt auch die Crawler aus, die AI-Suche und Zitierungen speisen.
Die Regeln sind veraltet, neue Bots mit neuen User-Agents sind nicht erfasst.
Ein CDN blockt AI-Bots auf Netzwerkebene, die robots.txt sagt das Gegenteil; die Dokumentation stimmt mit keinem von beiden überein.

So beheben

Entscheiden, mit Marketing und Legal am Tisch: Training erlauben oder nicht, Zitierung in AI-Antworten erwünscht oder nicht. Dann je Crawler eine User-agent-Gruppe in die robots.txt, getrennt für Trainings-Bots und Such-Bots. Die Liste halbjährlich gegen die Dokumentation der Anbieter prüfen, weil neue Kennungen dazukommen; wer erlaubt, kann den Crawlern mit einer llms.txt und sauberem JSON-LD zeigen, was zitiert werden soll. Wer blockt, prüft zusätzlich die Bot-Abwehr des CDN. Dort wird die Regel durchgesetzt.

Erst selbst prüfen

Der Tracking-Check testet diesen Punkt zusammen mit allen anderen in Sekunden.

Tracking-Check starten →

Verwandte Checks

robots.txt →llms.txt →Strukturierte Daten (JSON-LD) →

Häufige Fragen

Sollen wir AI-Crawler blocken oder nicht?

Das ist eine Entscheidung, die der Scan nicht abnimmt. Wer blockt, hält Inhalte aus dem Training heraus und je nach Bot auch aus AI-Antworten, in denen die eigene Site sonst zitiert würde. Wer erlaubt, liefert Material für beides. Die Zeile sagt nur, welche Entscheidung in der Datei steht; für viele Sites steht gar keine drin, und die Default-Erlaubnis gilt, ohne dass jemand sie getroffen hat.

Wir haben GPTBot geblockt. Ist unsere Site damit aus ChatGPT raus?

Aus dem Training, soweit der Bot sich an die Regel hält. Für Suche und Abrufe auf Nutzeranfrage verwenden die Anbieter eigene Kennungen, die der Scan nicht prüft; wer die Site aus AI-Antworten heraushalten will, muss auch diese Gruppen setzen. Und robots.txt ist eine Bitte, keine Sperre: Wer nicht fragt, wird nicht aufgehalten.

Warum ist die Zeile nie kritisch?

Weil es kein Richtig gibt. Ein Verlag blockt aus gutem Grund, eine B2B-Site will zitiert werden. Der Scan zeigt den Ist-Zustand, damit die Entscheidung bewusst fällt, und ordnet ihn als Hinweis ein, ohne Punktabzug.

Behebung

Verdrahtet in Tagen, nicht in Sprints.

Befunde aus dem Tracking-Check gehen im Audit Sprint in eine Reihenfolge mit Aufwand, jeder Baustein mit Abnahmekriterium.

Zur Leistung Audit Sprint anfragen