SEO
robots.txt Validator
Перевірити robots.txt — структура груп User-agent, директиви, тест конкретного шляху на дозвіл/заборону.
Якщо вказати лише домен, підставиться /robots.txt. Спрацює не для всіх сайтів — деякі блокують крос-доменні запити (CORS); якщо завантаження не вдалося, відкрийте robots.txt у новій вкладці й вставте вміст вручну.