robots.txt là một tệp văn bản đặt ở thư mục gốc của trang web, được các bot tìm kiếm đọc trước khi thu thập dữ liệu để biết phần nào được phép truy cập và phần nào không. Không phải công cụ tìm kiếm nào cũng diễn giải các chỉ thị này giống hệt nhau, và đó chính là nơi phần lớn lỗi cấu hình bắt nguồn.
Các chỉ thị User-agent, Disallow và Allow
Tệp được chia thành các khối, mỗi khối bắt đầu bằng User-agent:, theo sau là các chỉ thị Disallow và Allow đánh dấu đường dẫn bị cấm hoặc được phép. Bot áp dụng khối đầu tiên có User-agent trùng với tên của chính nó, nếu không tìm thấy khối phù hợp thì quay về khối chung User-agent: *.
Crawl-delay: vì sao Google hoàn toàn bỏ qua
Bingbot từ trước đến nay vẫn tuân theo chỉ thị Crawl-delay để giãn cách các lượt truy cập vào site. Ngược lại, Google chưa bao giờ hỗ trợ chỉ thị này trong robots.txt — nếu nó xuất hiện trong khối dành cho Googlebot, Google đơn giản là bỏ qua. Muốn điều chỉnh tốc độ thu thập dữ liệu của Google, phải dùng phần cài đặt tốc độ thu thập trong Search Console chứ không phải robots.txt.
Sitemap: một gợi ý, không phải bắt buộc
Chỉ thị Sitemap: cho công cụ tìm kiếm biết vị trí của tệp sitemap.xml. Nó không bắt buộc, nhưng tiện lợi: bot không cần đoán đường dẫn sitemap hay chỉ dựa vào việc đã khai báo trong search console.
Vì sao nên kiểm tra điều này
- Kiểm tra cú pháp robots.txt trước khi đăng, để một lỗi gõ nhỏ không vô tình chặn thu thập dữ liệu toàn bộ trang.
- Xác nhận không có phần quan trọng nào của site bị ẩn do các quy tắc mâu thuẫn giữa những khối khác nhau.
- Kiểm tra ngay một cặp user-agent và đường dẫn cụ thể, mà không cần chờ lượt thu thập dữ liệu tiếp theo.
Vì sao Disallow không ẩn trang khỏi kết quả tìm kiếm
Đây là hiểu lầm phổ biến nhất: Disallow ngăn bot thu thập nội dung của trang, nhưng không ngăn URL đó được lập chỉ mục. Nếu một trang đã được lập chỉ mục khác liên kết đến trang bị chặn này, Google vẫn có thể hiển thị URL đó trong kết quả mà không có mô tả, vì nội dung chưa từng được thu thập.