SEO
robots.txt Validator
Sprawdź robots.txt — strukturę grup User-agent, dyrektywy, test konkretnej ścieżki pod kątem zezwolenia/blokady.
Jeśli podasz tylko domenę, zostanie dodane /robots.txt. Nie zadziała dla wszystkich witryn — niektóre blokują żądania międzydomenowe (CORS); jeśli pobieranie się nie powiedzie, otwórz robots.txt w nowej karcie i wklej zawartość ręcznie.
robots.txt controls which paths of a site search bots are allowed to crawl. A mistake in this file can accidentally block an entire site from indexing, or expose internal sections that shouldn't be crawled. This tool checks the file's structure and tests a specific path against allow/disallow rules.
How to use it
- Paste the contents of robots.txt and the tool parses the User-agent groups and directives (Allow, Disallow, Sitemap).
- Enter a specific path (e.g. /admin/ or /blog/post-1) to check whether it's allowed for a chosen bot.
- Syntax errors and suspicious constructs are flagged separately from valid directives.
Common uses
- Checking before a deploy that a new robots.txt hasn't accidentally blocked important pages.
- Debugging why a specific page isn't indexed — it may be caught by a Disallow rule.
- Comparing rules for different bots (Googlebot, Bingbot, etc.) when separate User-agent groups target them.
Things to keep in mind
robots.txt only blocks crawling — it doesn't guarantee a page won't appear in the index: if something else links to it, Google can still show the URL with no description. To reliably exclude a page, use a meta noindex tag, and the page must not be blocked in robots.txt for that tag to be seen.
Paths in robots.txt are case-sensitive — /Page and /page are treated as different paths.
Artykuł o tym narzędziu: robots.txt: jak boty wyszukiwarek decydują, co mogą skanować
Najczęstsze pytania
Dlaczego moja reguła Disallow nie blokuje oczekiwanej strony?
Reguły robots.txt są dopasowywane według prefiksu, a nie dokładnej strony, a bardziej szczegółowe reguły nadpisują ogólne — Disallow: /blog nie zablokuje /blog-archive, chyba że uwzględnisz, jak faktycznie działa dopasowanie prefiksów, a reguła Allow gdzie indziej może nadpisać szerszy Disallow.
Czy robots.txt faktycznie zapobiega indeksowaniu strony?
Niezbyt niezawodnie samo w sobie. Prosi jedynie dobrze zachowujące się roboty, by nie pobierały strony — zabroniona strona może nadal zostać zindeksowana (bez treści), jeśli inne strony do niej linkują, więc użyj meta tagu lub nagłówka noindex dla prawdziwej gwarancji.
Czy zawartość mojego robots.txt jest gdzieś wysyłana w celu walidacji?
Nie. Walidacja odbywa się całkowicie w Twojej przeglądarce — nic nie jest wysyłane na serwer.
Czy Googlebot obsługuje symbole wieloznaczne * i $?
Tak — Googlebot i większość innych nowoczesnych botów obsługuje * (dopasowuje dowolny ciąg znaków) i $ (oznacza koniec adresu URL), ale to rozszerzenie poza oryginalną specyfikacją z 1994 roku, więc nie każdy bot je obsługuje.
Czy ścieżki w robots.txt rozróżniają wielkość liter?
Tak. /Admin/ i /admin/ są traktowane jako dwie różne ścieżki, więc reguła Disallow z niewłaściwą wielkością liter nie zadziała wcale wobec rzeczywistej ścieżki.