Der Parser strukturiert bekannte robots.txt Direktiven aus einem eingefügten Text. Er wertet keine Suchmaschinenregeln aus und prüft nicht die Datei Ihrer Website.
Was geprüft wird
Das Browser-Tool zählt User-agent-, Allow-, Disallow- und Sitemap-Zeilen und erkennt Sitemap-Angaben, die syntaktisch wie absolute HTTP- oder HTTPS-Adressen aussehen.
robots.txt ist eine Crawl-Anweisung und kein verlässlicher Schutz für vertrauliche Inhalte. Eine Disallow-Regel verhindert außerdem nicht automatisch, dass eine URL in Suchergebnissen erscheint.
- Text wird ausschließlich lokal im Browser verarbeitet
- Es findet kein Abruf von /robots.txt statt
- Regelreihenfolge, Crawler-Verhalten und Live-Erreichbarkeit bleiben ungeprüft
Vor einer Änderung sorgfältig abgleichen
Prüfen Sie vor dem Einsatz die Datei am tatsächlichen Domain- und Protokollziel, wichtige Bereiche und die zugehörige Sitemap. Testen Sie Änderungen mit geeigneten offiziellen Suchmaschinenwerkzeugen und kontrollieren Sie, ob robots-Meta und HTTP-Status zum gewünschten Indexierungsverhalten passen.
KOSTENLOSES BROWSER-TOOL
robots.txt Direktiven-Check
Zählt bekannte Direktiven aus eingefügtem robots.txt Text. Dieser Parser bewertet keine Suchmaschinenregeln und ruft keine Datei ab.