Was wird geprüft
Der Scan ruft /robots.txt auf, zuerst mit seiner eigenen Kennung, bei einer Fehlantwort noch einmal als Browser. Antwortet die Datei nicht mit 200, ist die Zeile „zu prüfen“. Dann liest er die Gruppe User-agent: * und sucht ein Disallow: /, das allein auf einer Zeile steht. Findet er es, sperrt die Datei alle Crawler aus, ebenfalls „zu prüfen“. Alles andere ist „ok“.
Was der Scan nicht bewertet: einzelne gesperrte Pfade, Regeln für einzelne Bots, den Sitemap:-Verweis und Syntaxfehler. Eine Antwort mit 200 und HTML statt Regeln, wie manche Hoster sie für jede unbekannte URL liefern, gilt als erreichbar. Die Regeln für AI-Crawler stehen im eigenen Befund AI-Bot-Policy.
Warum ist das wichtig
Ein Disallow: / ist die kürzeste Art, eine Website aus Google zu entfernen. Es steht auf jedem Staging-System, und es geht öfter mit live, als man denkt: Der Relaunch ist durch, das Team feiert, und drei Wochen später bricht in der Search Console der Traffic ein. Ein Tracking-Check prüft die Datei, weil danach jedes Dashboard falsch aussieht, obwohl das Tracking selbst in Ordnung ist. Erst die Ursache, dann die Messung.
Häufige Ursachen
- Ein
Disallow: /aus der Staging-Phase ist mit live gegangen. - Die Datei liefert einen Fehler oder einen Redirect auf die Startseite. Google behandelt Serverfehler wie eine Sperre, bis die Datei wieder antwortet.
- Ein CDN oder eine Bot-Abwehr beantwortet Anfragen ohne Browser-Kennung mit 403. Der Scan versucht es dann als Browser; scheitert auch das, gilt die Datei als nicht erreichbar.
- Der Sitemap-Verweis fehlt oder zeigt auf eine tote URL.