Die Datei robots.txt

Bevor man verstehen kann, was und wofür eine robots.txt ist, sollte man wissen, was ein Robot, auch Spider genannt, ist. Robots sind Programme oder Skripte, die von Suchmaschinen losgeschickt werden und sich von Seite zu Seite durchs Web hangeln. Dabei werden die gefundenen Seiten indiziert und in den Datenbeständen der Suchmaschine aufgenommen. Ein Robot sucht nach Links in einer Seite und folgt diesen dann. Somit hat ein Webmaster keine Kontrolle, welche Wege sich dieser sucht. Genau dafür ist die robots.txt zuständig. Fast alle Suchmaschinen-Robots halten sich an die Regeln in der robots.txt und suchen zuerst nach dieser Datei, bevor Sie mit dem Indexieren Ihrer Seiten beginnen. Oftmals kann es vorkommen, dass Sie auf Ihrem Webserver Dateien liegen haben, die nicht unbedingt für die öffentlichkeit bestimmt sind oder ganz einfach nicht in Suchmaschinen aufgenommen werden sollen. Beispiele hierfür sind noch nicht freigegebene Seiten oder auch Programme, Skripte und ganze Webseiten, die nur für einen bestimmten Kreis zugänglich sein sollen. Manchmal macht es auch einfach keinen Sinn, Verzeichnisse spidern zu lassen. Handelt es sich hierbei z.B. um Logfiles, müssen diese nun wirklich nicht von Suchmaschinen aufgenommen werden.

Die robots.txt ist eine einfache Textdatei, die im Hauptverzeichnis einer Domain abgelegt werden muß und den Robots angibt, wo sie nicht suchen dürfen und welche speziellen Seiten nicht aufgenommen werden sollen. Pro Domain darf es nur eine robots.txt geben, außerdem sollten Sie darauf achten, daß alle Buchstaben klein geschrieben werden müssen.

Wie muß nun eine robots.txt aufgebaut sein?

In einer robots.txt können mehrere Regeln hintereinander festgelegt werden. Dabei bestehen diese Regeln immer aus zwei Teilen. Als erstes muß angegeben werden, für wen diese Regel bestimmt ist. Hierbei kann man einzelne Robots mit Namen ansprechen oder die Regel für alle Robots gültig machen. Die Suchmaschinen geben Ihren Robots verschiedene Namen, diese sehen Sie dann auch in Ihren Logfiles. So heißt der Robot von AltaVista zum Beispiel Scooter. Viele Suchmaschinen geben auf Ihren Seiten an, unter welchem Namen Ihre Robots durch das Web wandern, einige haben wir auch in meinem robots.txt - Generator integriert. Pro Zeile kann man einen Robot angeben. Jede Zeile muß mit dem Wort "User-agent" und einem Doppelpunkt anfangen.

Beispiel: User-agent: Scooter

Wollen Sie eine Regel für alle Robots festlegen, müssen Sie statt einem Robot-Namen ein * angeben:

User-agent: *

Hinter der Angabe der Robots folgt nun eine Auflistung der Verzeichnisse und Dateien, die nicht aufgenommen werden soll. Hier kann man auch explizit angeben, welche Dateien oder Verzeichnisse aufgenommen werden dürfen. Dabei muß jedes Verzeichnis, jede Datei in einer Zeile angegeben werden, angefangen mit Disallow oder Allow, dann folgt ein Doppelpunkt und die Angabe der Datei, des Verzeichnisses. So kann das dann aussehen:

Disallow: /verzeichnis1/
Disallow: /verzeichnis2/unterverzeichnis/
Disallow: /datei.htm
Allow: /verzeichnis3/

Dabei müssen Sie darauf achten, dass Sie den Pfad ohne Domain angeben und immer mit einem Slash beginnen. Wenn man nun die Robots-Angabe und die Dateien/Verzeichnisse zusammenpackt, erhält man z.B. folgendes:

User-agent: Scooter
Disallow: /verzeichnis1/
Disallow: /datei.htm

Wenn Sie einen Robot für die komplette Domain sperren wollen, müssen Sie einfach nur einen Slash angeben. Wollen Sie zum Beispiel den Robot von Inktomi/Hotbot aussperren, würde das so aussehen:

User-agent: Slurp
Disallow: /

Das ist zum Beispiel dann sinnvoll, wenn ein Robot ständig wiederkommt und Ihren Trafic unverhältnismäßig hoch belastet. Im Gegenzug kann man auch alle Verzeichnisse freigeben, dazu muß man einfach nichts angeben:

User-Agent: Slurp
Disallow:

Zusätzlich zu den Suchmaschinen-Spidern gibt es noch spezielle Spider, die nach Email-Adressen suchen, um diese dann in eine Datenbank aufzunehmen. Wenn Sie verhindern wollen, dass solche Adressen-Sammler Ihre Adressen ausspionieren oder zum Beispiel alle Adressen aus Ihrem Gästebuch aufnehmen, müssen Sie als Robot-Namen den EmailCollector angeben.

Die verschiedenen Regeln müssen Sie durch eine Leerzeile trennen, Beispiel:

User-agent: EmailCollector
Disallow: /

User-Agent: *
Disallow: /verzeichnis3/


Weiterführende Links:

Mein robots.txt-Generator
Umfangreiche Liste von bekannten Spider-Namen