SEO
robots.txt Validator
robots.txt prüfen — Struktur der User-agent-Gruppen, Direktiven, Test eines bestimmten Pfads auf Erlaubnis/Sperrung.
Wird nur die Domain angegeben, wird /robots.txt ergänzt. Funktioniert nicht bei allen Websites — manche blockieren Cross-Origin-Anfragen (CORS); falls das Laden fehlschlägt, robots.txt in einem neuen Tab öffnen und den Inhalt manuell einfügen.
robots.txt steuert, welche Pfade einer Website Suchbots crawlen dürfen. Ein Fehler in dieser Datei kann versehentlich die gesamte Website von der Indexierung ausschließen oder interne Bereiche offenlegen. Dieses Tool prüft die Struktur der Datei und testet einen bestimmten Pfad gegen Allow-/Disallow-Regeln.
So verwendest du es
- Füge den Inhalt von robots.txt ein — das Tool zerlegt die User-agent-Gruppen und Direktiven (Allow, Disallow, Sitemap).
- Gib einen bestimmten Pfad ein (z. B. /admin/ oder /blog/post-1), um zu prüfen, ob er für einen gewählten Bot erlaubt ist.
- Syntaxfehler und verdächtige Konstrukte werden separat von gültigen Direktiven markiert.
Typische Anwendungsfälle
- Vor einem Deploy prüfen, ob eine neue robots.txt nicht versehentlich wichtige Seiten blockiert hat.
- Debuggen, warum eine bestimmte Seite nicht indexiert wird — möglicherweise greift eine Disallow-Regel.
- Regeln für verschiedene Bots (Googlebot, Bingbot usw.) vergleichen, wenn separate User-agent-Gruppen sie ansprechen.
Was du wissen solltest
robots.txt blockiert nur das Crawling — es garantiert nicht, dass eine Seite nicht im Index erscheint: Verlinkt etwas anderes darauf, kann Google die URL trotzdem ohne Beschreibung anzeigen. Für einen zuverlässigen Ausschluss braucht es ein Meta-noindex-Tag, und die Seite darf dafür nicht in robots.txt gesperrt sein.
Pfade in robots.txt unterscheiden zwischen Groß- und Kleinschreibung — /Page und /page gelten als unterschiedliche Pfade.
Artikel zu diesem Tool: robots.txt: wie Suchbots entscheiden, was sie crawlen dürfen
Häufig gestellte Fragen
Warum blockiert meine Disallow-Regel nicht die erwartete Seite?
Robots.txt-Regeln werden per Präfix abgeglichen, nicht nach exakter Seite, und spezifischere Regeln überschreiben allgemeine — ein Disallow: /blog blockiert /blog-archive nicht, wenn Sie nicht berücksichtigen, wie der Präfixabgleich tatsächlich funktioniert, und eine Allow-Regel anderswo kann ein breiteres Disallow überschreiben.
Verhindert robots.txt tatsächlich die Indizierung einer Seite?
Nicht zuverlässig für sich allein. Es bittet nur wohlerzogene Crawler, eine Seite nicht abzurufen — eine gesperrte Seite kann dennoch indiziert werden (ohne ihren Inhalt), wenn andere Seiten darauf verlinken, also verwenden Sie für eine echte Garantie einen noindex-Meta-Tag oder -Header.
Wird der Inhalt meiner robots.txt irgendwohin gesendet, um sie zu validieren?
Nein. Die Validierung erfolgt vollständig in Ihrem Browser — nichts wird an einen Server gesendet.
Unterstützt Googlebot die Platzhalterzeichen * und $ in robots.txt?
Ja — Google unterstützt * als beliebige Zeichenfolge und $ als URL-Ende, obwohl dies eine Erweiterung über die ursprüngliche Spezifikation von 1994 hinaus ist, sodass nicht jeder Bot sie garantiert erkennt.
Wird bei Pfaden in robots.txt zwischen Groß- und Kleinschreibung unterschieden?
Ja — /Admin/ und /admin/ gelten als unterschiedliche Pfade, daher muss eine Disallow-Regel exakt der Groß-/Kleinschreibung entsprechen, die in den tatsächlichen URLs der Website verwendet wird.