SEO
robots.txt Validator
Проверить robots.txt — структура групп User-agent, директивы, тест конкретного пути на разрешение/запрет.
Если указать только домен, подставится /robots.txt. Сработает не для всех сайтов — некоторые блокируют кросс-доменные запросы (CORS); если загрузка не удалась, откройте robots.txt в новой вкладке и вставьте содержимое вручную.