SEO
robots.txt Validator
robots.txt prüfen — Struktur der User-agent-Gruppen, Direktiven, Test eines bestimmten Pfads auf Erlaubnis/Sperrung.
Wird nur die Domain angegeben, wird /robots.txt ergänzt. Funktioniert nicht bei allen Websites — manche blockieren Cross-Origin-Anfragen (CORS); falls das Laden fehlschlägt, robots.txt in einem neuen Tab öffnen und den Inhalt manuell einfügen.
robots.txt controls which paths of a site search bots are allowed to crawl. A mistake in this file can accidentally block an entire site from indexing, or expose internal sections that shouldn't be crawled. This tool checks the file's structure and tests a specific path against allow/disallow rules.
How to use it
- Paste the contents of robots.txt and the tool parses the User-agent groups and directives (Allow, Disallow, Sitemap).
- Enter a specific path (e.g. /admin/ or /blog/post-1) to check whether it's allowed for a chosen bot.
- Syntax errors and suspicious constructs are flagged separately from valid directives.
Common uses
- Checking before a deploy that a new robots.txt hasn't accidentally blocked important pages.
- Debugging why a specific page isn't indexed — it may be caught by a Disallow rule.
- Comparing rules for different bots (Googlebot, Bingbot, etc.) when separate User-agent groups target them.
Things to keep in mind
robots.txt only blocks crawling — it doesn't guarantee a page won't appear in the index: if something else links to it, Google can still show the URL with no description. To reliably exclude a page, use a meta noindex tag, and the page must not be blocked in robots.txt for that tag to be seen.
Paths in robots.txt are case-sensitive — /Page and /page are treated as different paths.
Artikel zu diesem Tool: robots.txt: wie Suchbots entscheiden, was sie crawlen dürfen
Häufig gestellte Fragen
Warum blockiert meine Disallow-Regel nicht die erwartete Seite?
Robots.txt-Regeln werden per Präfix abgeglichen, nicht nach exakter Seite, und spezifischere Regeln überschreiben allgemeine — ein Disallow: /blog blockiert /blog-archive nicht, wenn Sie nicht berücksichtigen, wie der Präfixabgleich tatsächlich funktioniert, und eine Allow-Regel anderswo kann ein breiteres Disallow überschreiben.
Verhindert robots.txt tatsächlich die Indizierung einer Seite?
Nicht zuverlässig für sich allein. Es bittet nur wohlerzogene Crawler, eine Seite nicht abzurufen — eine gesperrte Seite kann dennoch indiziert werden (ohne ihren Inhalt), wenn andere Seiten darauf verlinken, also verwenden Sie für eine echte Garantie einen noindex-Meta-Tag oder -Header.
Wird der Inhalt meiner robots.txt irgendwohin gesendet, um sie zu validieren?
Nein. Die Validierung erfolgt vollständig in Ihrem Browser — nichts wird an einen Server gesendet.
Unterstützt Googlebot die Platzhalterzeichen * und $ in robots.txt?
Ja — Google unterstützt * als beliebige Zeichenfolge und $ als URL-Ende, obwohl dies eine Erweiterung über die ursprüngliche Spezifikation von 1994 hinaus ist, sodass nicht jeder Bot sie garantiert erkennt.
Wird bei Pfaden in robots.txt zwischen Groß- und Kleinschreibung unterschieden?
Ja — /Admin/ und /admin/ gelten als unterschiedliche Pfade, daher muss eine Disallow-Regel exakt der Groß-/Kleinschreibung entsprechen, die in den tatsächlichen URLs der Website verwendet wird.