SEO
robots.txt Validator
Sprawdź robots.txt — strukturę grup User-agent, dyrektywy, test konkretnej ścieżki pod kątem zezwolenia/blokady.
Jeśli podasz tylko domenę, zostanie dodane /robots.txt. Nie zadziała dla wszystkich witryn — niektóre blokują żądania międzydomenowe (CORS); jeśli pobieranie się nie powiedzie, otwórz robots.txt w nowej karcie i wklej zawartość ręcznie.