SEO
robots.txt Validator
Проверить robots.txt — структура групп User-agent, директивы, тест конкретного пути на разрешение/запрет.
Если указать только домен, подставится /robots.txt. Сработает не для всех сайтов — некоторые блокируют кросс-доменные запросы (CORS); если загрузка не удалась, откройте robots.txt в новой вкладке и вставьте содержимое вручную.
robots.txt controls which paths of a site search bots are allowed to crawl. A mistake in this file can accidentally block an entire site from indexing, or expose internal sections that shouldn't be crawled. This tool checks the file's structure and tests a specific path against allow/disallow rules.
How to use it
- Paste the contents of robots.txt and the tool parses the User-agent groups and directives (Allow, Disallow, Sitemap).
- Enter a specific path (e.g. /admin/ or /blog/post-1) to check whether it's allowed for a chosen bot.
- Syntax errors and suspicious constructs are flagged separately from valid directives.
Common uses
- Checking before a deploy that a new robots.txt hasn't accidentally blocked important pages.
- Debugging why a specific page isn't indexed — it may be caught by a Disallow rule.
- Comparing rules for different bots (Googlebot, Bingbot, etc.) when separate User-agent groups target them.
Things to keep in mind
robots.txt only blocks crawling — it doesn't guarantee a page won't appear in the index: if something else links to it, Google can still show the URL with no description. To reliably exclude a page, use a meta noindex tag, and the page must not be blocked in robots.txt for that tag to be seen.
Paths in robots.txt are case-sensitive — /Page and /page are treated as different paths.
Статья об этом инструменте: robots.txt: как поисковые боты решают, что можно сканировать
Часто задаваемые вопросы
Почему моё правило Disallow не блокирует ожидаемую страницу?
Правила robots.txt сопоставляются по префиксу, а не точной странице, и более конкретные правила перекрывают общие — Disallow: /blog не заблокирует /blog-archive, если не учесть, как на самом деле работает сопоставление по префиксу, а правило Allow в другом месте может перекрыть более широкий Disallow.
Действительно ли robots.txt предотвращает индексацию страницы?
Не надёжно сам по себе. Он лишь просит добросовестных краулеров не загружать страницу — запрещённая страница всё ещё может быть проиндексирована (без содержимого), если на неё ссылаются другие страницы, поэтому для настоящей гарантии используйте мета-тег или заголовок noindex.
Отправляется ли содержимое моего robots.txt куда-либо для проверки?
Нет. Проверка происходит полностью в вашем браузере — ничего не отправляется на сервер.
Поддерживает ли Googlebot символы-джокеры * и $ в robots.txt?
Да — Google поддерживает * как любую последовательность символов и $ как конец URL, хотя это расширение за пределами оригинальной спецификации 1994 года, поэтому не все боты обязательно их распознают.
Чувствительны ли пути в robots.txt к регистру символов?
Да — путь /Admin/ и /admin/ считаются разными путями, поэтому правило Disallow должно точно соответствовать регистру символов в реальном URL-адресе сайта.