SEO

robots.txt Validator

robots.txtを検証 — User-agentグループの構造、ディレクティブ、特定パスの許可/禁止テスト。

ドメインのみを指定すると/robots.txtが補完されます。すべてのサイトで動作するわけではありません — クロスオリジンリクエスト(CORS)をブロックするサイトもあります。取得に失敗した場合は、新しいタブでrobots.txtを開き、内容を手動で貼り付けてください。