robots.txt ist eine Textdatei im Wurzelverzeichnis der Website, die Suchcrawler vor dem Crawlen lesen, um zu erfahren, welche Bereiche sie besuchen dürfen und welche nicht. Dabei betreibt allein Google mehrere separat benannte Crawler für unterschiedliche Zwecke, nicht nur den einen "Googlebot".
User-agent, Disallow und Allow
Die Datei besteht aus Blöcken, jeder beginnt mit User-agent:, gefolgt von den Anweisungen Disallow und Allow, die verbotene beziehungsweise ausdrücklich erlaubte Pfade markieren. Ein Crawler wendet den ersten Block an, dessen User-agent mit seinem eigenen Namen übereinstimmt, und weicht ohne passenden Eintrag auf den allgemeinen Block User-agent: * aus.
Googlebot-Image, Googlebot-News: mehrere Bots, eine Firma
Neben dem regulären Googlebot für die Websuche betreibt Google eigene, separat benannte Crawler wie Googlebot-Image für die Bildersuche oder Crawler für Google News. Das erlaubt in robots.txt eine feinere Steuerung: Ein Bildverzeichnis lässt sich gezielt für Googlebot-Image sperren, während der Rest der Seite für den regulären Googlebot weiter zugänglich bleibt.
Sitemap als Hinweis, keine Pflicht
Die Anweisung Sitemap: zeigt der Suchmaschine, wo die Datei sitemap.xml liegt. Sie ist optional, aber praktisch: Der Crawler muss den Pfad zur Sitemap weder erraten noch sich allein auf die Registrierung in einer Search-Console-Oberfläche verlassen.
Wozu diese Prüfung gut ist
- Syntax der robots.txt vor der Veröffentlichung prüfen, damit ein Tippfehler nicht versehentlich die gesamte Website vom Crawling ausschließt.
- Sicherstellen, dass keine wichtigen Bereiche durch widersprüchliche Regeln verschiedener Blöcke unbeabsichtigt gesperrt werden.
- Eine konkrete Kombination aus User-agent und Pfad sofort testen, ohne auf den nächsten Crawl-Durchlauf zu warten.
Warum Disallow eine Seite nicht aus den Suchergebnissen entfernt
Das ist das häufigste Missverständnis: Disallow hindert einen Bot daran, den Inhalt einer Seite zu crawlen, verhindert aber nicht, dass ihre URL indexiert wird. Verweist eine andere indexierte Seite auf die gesperrte URL, kann Google sie dennoch in den Ergebnissen anzeigen — ohne Beschreibung, weil der Inhalt selbst nie abgerufen wurde.