SEO

robots.txt Validator

Перевірити robots.txt — структура груп User-agent, директиви, тест конкретного шляху на дозвіл/заборону.

Якщо вказати лише домен, підставиться /robots.txt. Спрацює не для всіх сайтів — деякі блокують крос-доменні запити (CORS); якщо завантаження не вдалося, відкрийте robots.txt у новій вкладці й вставте вміст вручну.