robots.txt to plik tekstowy w katalogu głównym witryny, który roboty wyszukiwarek czytają przed rozpoczęciem indeksowania, aby wiedzieć, które sekcje mogą, a których nie mogą odwiedzać. Sam Google, niezależnie od zwykłego Googlebota, utrzymuje osobno nazwane roboty do różnych zadań.
Dyrektywy User-agent, Disallow i Allow
Plik składa się z bloków, każdy zaczyna się od User-agent:, po którym następują dyrektywy Disallow i Allow, oznaczające ścieżki zabronione lub wyraźnie dozwolone. Robot stosuje pierwszy blok, którego User-agent pasuje do jego własnej nazwy, a bez dopasowania korzysta z ogólnego bloku User-agent: *.
Googlebot-Image i inne nazwane roboty Google
Obok zwykłego Googlebot do wyszukiwania stron, Google uruchamia oddzielnie nazwane roboty, jak Googlebot-Image do wyszukiwania grafiki. Dzięki temu w robots.txt można zablokować katalog ze zdjęciami wyłącznie dla Googlebot-Image, pozostawiając te same strony dostępne dla zwykłego Googlebota.
Sitemap jako wskazówka, nie wymóg
Dyrektywa Sitemap: wskazuje wyszukiwarce lokalizację pliku sitemap.xml. Nie jest obowiązkowa, ale przydatna: robot nie musi zgadywać ścieżki mapy witryny ani polegać wyłącznie na jej zarejestrowaniu w konsoli wyszukiwarki.
Po co to sprawdzać
- Sprawdzić składnię robots.txt przed publikacją, żeby drobna literówka przypadkiem nie zablokowała indeksowania całej witryny.
- Upewnić się, że żadna ważna sekcja nie została ukryta przez sprzeczne reguły z różnych bloków.
- Przetestować konkretną kombinację user-agenta i ścieżki od razu, bez czekania na kolejne odwiedziny robota.
Dlaczego Disallow nie ukrywa strony z wyników wyszukiwania
To najczęstsze nieporozumienie: Disallow uniemożliwia botowi zeskanowanie treści strony, ale nie blokuje zaindeksowania samego adresu URL. Jeśli inna zaindeksowana witryna linkuje do zablokowanej strony, Google może nadal pokazać jej URL w wynikach, bez opisu, bo treść nigdy nie została pobrana.