SEO
robots.txt Validator
robots.txt prüfen — Struktur der User-agent-Gruppen, Direktiven, Test eines bestimmten Pfads auf Erlaubnis/Sperrung.
Wird nur die Domain angegeben, wird /robots.txt ergänzt. Funktioniert nicht bei allen Websites — manche blockieren Cross-Origin-Anfragen (CORS); falls das Laden fehlschlägt, robots.txt in einem neuen Tab öffnen und den Inhalt manuell einfügen.