robots.txt — це текстовий файл у корені сайту, який пошукові боти читають перед тим, як почати сканування, щоб дізнатися, які розділи сайту їм дозволено чи заборонено відвідувати.
Директиви User-agent, Disallow і Allow
Файл складається з блоків, кожен з яких починається з User-agent: (для якого бота призначені правила) і містить директиви Disallow та Allow, що вказують заборонені й дозволені шляхи. Правила застосовуються до першого блоку, чий User-agent збігається з іменем конкретного бота.
Чому Disallow не приховує сторінку з видачі
Це найпоширеніша плутанина: Disallow забороняє боту сканувати вміст сторінки, але не забороняє індексувати сам факт її існування. Якщо на заборонену сторінку веде посилання з іншого проіндексованого сайту, Google все одно може показати її URL у видачі — без опису, оскільки вміст не скановано.
Sitemap як підказка в robots.txt
Директива Sitemap: у robots.txt вказує пошуковику розташування файлу sitemap.xml. Це необов'язково, але зручно: боту не потрібно вгадувати шлях до мапи сайту чи покладатися лише на реєстрацію в панелі вебмайстра.
Навіщо це потрібно
- Перевірити синтаксис robots.txt перед публікацією, щоб не заблокувати весь сайт випадковою помилкою.
- Переконатися, що важливі розділи сайту не закриті від сканування конкуруючими правилами.
- Зрозуміти, чому сторінка все одно з'являється в пошуку попри заборону в robots.txt.
Символи-джокери * і $ у правилах
Googlebot та більшість сучасних ботів підтримують * як символ для будь-якої послідовності символів і $ для позначення кінця URL — наприклад, Disallow: /*.pdf$ заблокує всі PDF-файли незалежно від їхнього розташування. Проте це розширення офіційної специфікації robots.txt 1994 року, і деякі старі чи менш поширені боти можуть не підтримувати ці символи взагалі, трактуючи їх як звичайні літери в шляху.