SEO
robots.txt Validator
Перевірити robots.txt — структура груп User-agent, директиви, тест конкретного шляху на дозвіл/заборону.
Якщо вказати лише домен, підставиться /robots.txt. Спрацює не для всіх сайтів — деякі блокують крос-доменні запити (CORS); якщо завантаження не вдалося, відкрийте robots.txt у новій вкладці й вставте вміст вручну.
robots.txt керує тим, які шляхи сайту дозволено скановувати пошуковим ботам. Помилка в цьому файлі може випадково закрити від індексації весь сайт або, навпаки, відкрити службові розділи. Інструмент перевіряє структуру файлу й тестує конкретний шлях на дозвіл чи заборону.
Як користуватися
- Вставте вміст robots.txt — інструмент розбере групи User-agent і директиви (Allow, Disallow, Sitemap).
- Введіть конкретний шлях (наприклад, /admin/ чи /blog/post-1), щоб перевірити, чи дозволено його сканувати для обраного бота.
- Помилки синтаксису й підозрілі конструкції підсвічуються окремо від валідних директив.
Типові сценарії
- Перевірка перед деплоєм, що новий robots.txt не заблокував випадково важливі сторінки сайту.
- Діагностика, чому конкретна сторінка не індексується — можливо, вона потрапляє під правило Disallow.
- Звірка правил для різних ботів (Googlebot, Bingbot тощо), якщо для них задані окремі групи User-agent.
Що варто памʼятати
robots.txt лише забороняє сканування — він не гарантує, що сторінка не з’явиться в індексі: якщо на неї є посилання ззовні, Google може показати URL без опису. Для гарантованого виключення потрібен meta noindex, а сторінка при цьому не повинна бути заблокована в robots.txt.
Шляхи в robots.txt чутливі до регістру символів — /Page і /page вважаються різними шляхами.
Стаття про цей інструмент: robots.txt: як пошукові боти вирішують, що можна сканувати
Часті запитання
Чому моє правило Disallow не блокує очікувану сторінку?
Правила robots.txt зіставляються за префіксом, а не точною сторінкою, і конкретніші правила перекривають загальні — Disallow: /blog не заблокує /blog-archive, якщо не врахувати, як насправді працює зіставлення за префіксом, а правило Allow деінде може перекрити ширший Disallow.
Чи справді robots.txt запобігає індексації сторінки?
Не надійно сам по собі. Він лише просить сумлінних краулерів не завантажувати сторінку — заборонена сторінка все ще може бути проіндексована (без вмісту), якщо на неї посилаються інші сторінки, тож для реальної гарантії використовуйте мета-тег чи заголовок noindex.
Чи надсилається вміст мого robots.txt кудись для перевірки?
Ні. Перевірка відбувається повністю у вашому браузері — нічого не надсилається на сервер.
Чи підтримує Googlebot символи-джокери * і $ у robots.txt?
Так — Google підтримує * як будь-яку послідовність символів і $ як кінець URL, хоча це розширення поза межами оригінальної специфікації 1994 року, тож не всі боти обов'язково їх розпізнають.
Чи чутливі шляхи в robots.txt до регістру символів?
Так — шлях /Admin/ і /admin/ вважаються різними шляхами, тож правило Disallow має точно відповідати регістру символів у реальній URL-адресі сайту.