Check-Erklärung
robots.txt prüfen
Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar.
Was wird geprüft
Prüft Erreichbarkeit der robots.txt und ob sie alles blockiert.
Warum ist das wichtig
Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar.
Häufige Ursachen
- Ein „Disallow: /" aus der Staging-Phase ist mit live gegangen.
- Die Datei liefert einen Fehler oder Redirect, manche Crawler behandeln das wie eine Blockade.
- Der Sitemap-Verweis fehlt oder zeigt auf eine tote URL.
So behebt man es
robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".
Was bedeutet ein negativer robots.txt-Befund?
Falsch konfigurierte robots.txt macht die Seite für Google unsichtbar. robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".
Wie behebt man robots.txt?
robots.txt im Web-Root: "User-agent: *" + "Allow: /" + "Sitemap: <URL>".