SEO
robots.txt Validator
Проверить robots.txt — структура групп User-agent, директивы, тест конкретного пути на разрешение/запрет.
Если указать только домен, подставится /robots.txt. Сработает не для всех сайтов — некоторые блокируют кросс-доменные запросы (CORS); если загрузка не удалась, откройте robots.txt в новой вкладке и вставьте содержимое вручную.
robots.txt управляет тем, какие пути сайта разрешено сканировать поисковым ботам. Ошибка в этом файле может случайно закрыть от индексации весь сайт или, наоборот, открыть служебные разделы. Инструмент проверяет структуру файла и тестирует конкретный путь на разрешение или запрет.
Как пользоваться
- Вставьте содержимое robots.txt — инструмент разберёт группы User-agent и директивы (Allow, Disallow, Sitemap).
- Введите конкретный путь (например, /admin/ или /blog/post-1), чтобы проверить, разрешено ли его сканировать для выбранного бота.
- Ошибки синтаксиса и подозрительные конструкции подсвечиваются отдельно от валидных директив.
Типичные сценарии
- Проверка перед деплоем, что новый robots.txt случайно не заблокировал важные страницы сайта.
- Диагностика, почему конкретная страница не индексируется — возможно, она попадает под правило Disallow.
- Сверка правил для разных ботов (Googlebot, Bingbot и т.д.), если для них заданы отдельные группы User-agent.
Что стоит помнить
robots.txt только запрещает сканирование — он не гарантирует, что страница не появится в индексе: если на неё есть ссылка извне, Google может показать URL без описания. Для гарантированного исключения нужен meta noindex, а страница при этом не должна быть заблокирована в robots.txt.
Пути в robots.txt чувствительны к регистру символов — /Page и /page считаются разными путями.
Статья об этом инструменте: robots.txt: как поисковые боты решают, что можно сканировать
Часто задаваемые вопросы
Почему моё правило Disallow не блокирует ожидаемую страницу?
Правила robots.txt сопоставляются по префиксу, а не точной странице, и более конкретные правила перекрывают общие — Disallow: /blog не заблокирует /blog-archive, если не учесть, как на самом деле работает сопоставление по префиксу, а правило Allow в другом месте может перекрыть более широкий Disallow.
Действительно ли robots.txt предотвращает индексацию страницы?
Не надёжно сам по себе. Он лишь просит добросовестных краулеров не загружать страницу — запрещённая страница всё ещё может быть проиндексирована (без содержимого), если на неё ссылаются другие страницы, поэтому для настоящей гарантии используйте мета-тег или заголовок noindex.
Отправляется ли содержимое моего robots.txt куда-либо для проверки?
Нет. Проверка происходит полностью в вашем браузере — ничего не отправляется на сервер.
Поддерживает ли Googlebot символы-джокеры * и $ в robots.txt?
Да — Google поддерживает * как любую последовательность символов и $ как конец URL, хотя это расширение за пределами оригинальной спецификации 1994 года, поэтому не все боты обязательно их распознают.
Чувствительны ли пути в robots.txt к регистру символов?
Да — путь /Admin/ и /admin/ считаются разными путями, поэтому правило Disallow должно точно соответствовать регистру символов в реальном URL-адресе сайта.