Die robots.txt ist eine einfache Textdatei, mit der Website-Betreiber Suchmaschinen mitteilen, welche Bereiche ihrer Website gecrawlt und welche ausgelassen werden sollen. Sie dient also als Regelwerk für Crawler wie Googlebot oder Bingbot.
Die Datei liegt immer im Hauptverzeichnis einer Domain und kann öffentlich eingesehen werden, z. B. unter:
# Beispiel robots.txt
User-agent: BeispielCrawler
Disallow: /temp/ # Temporäre Dateien
Disallow: /logs/ # Log-Dateien
Was ist die Robots.txt?
Eine Robots-Datei ist mehr oder weniger ein Regelwerk für die Suchmaschinen. Dort wird definiert, welche Webseiten eine Suchmaschine besuchen darf und welche nicht.
Wichtige Elemente der robots.txt
User-agent
Mit User-agent: wird festgelegt, für welchen Crawler die folgenden Regeln gelten sollen.
User-agent: BeispielCrawler→ nur für diesen CrawlerUser-agent: *→ für alle Crawler
Disallow
Mit Disallow: wird angegeben, welche Bereiche nicht gecrawlt werden dürfen.
Allow
Mit Allow: lassen sich Ausnahmen definieren, z. B. wenn ein Ordner blockiert ist, aber bestimmte Dateien darin erlaubt sein sollen.
Kommentare
Zeilen, die mit # beginnen, dienen nur zur Erklärung und werden von Crawlern ignoriert.
Wichtige Hinweise zur richtigen Syntax
- Ordner sollten immer mit abschließendem Slash angegeben werden:
/temp/ statt /temp
Andernfalls könnten auch Dateien oder Ordner blockiert werden, die lediglich ähnlich heißen (z. B. tempfiles.html oder /temp2/). - Die robots.txt ist kein Sicherheitsinstrument.
Sie verhindert nicht, dass vertrauliche Inhalte gefunden werden. Für sensible Daten muss der Server selbst geschützt werden. - Nicht jeder Bot hält sich an die Regeln.
Suchmaschinen-Crawler respektieren die robots.txt, andere Bots jedoch eventuell nicht.
Mit einer korrekt eingerichteten robots.txt steuerst du, welche Bereiche deiner Website von Suchmaschinen erfasst werden sollen. Prüfe regelmäßig, ob wichtige Inhalte nicht versehentlich blockiert wurden, und passe die Datei an deine Bedürfnisse an.