SEO

robots.txt Validator

robots.txt prüfen — Struktur der User-agent-Gruppen, Direktiven, Test eines bestimmten Pfads auf Erlaubnis/Sperrung.

Wird nur die Domain angegeben, wird /robots.txt ergänzt. Funktioniert nicht bei allen Websites — manche blockieren Cross-Origin-Anfragen (CORS); falls das Laden fehlschlägt, robots.txt in einem neuen Tab öffnen und den Inhalt manuell einfügen.