Die robots.txt richtig einsetzen

Eine robots.txt gibt Webmastern die Möglichkeit, gewisse Bereiche einer Website für Suchmaschinen zu sperren bzw. die Indizierung einzelner Seiten zu verhindern.

Aber warum sollte man das machen?
Grundsätzlich sollte man eine Suchmaschine immer nur mit relevanten Daten einer Website füttern. Auch Crawler haben nur gewisse Ressourcen zu Verfügung, verschwendet man diese mit überflüssigen Bereichen einer Website, fehlen diese eventuell für die Indizierung der wirklich wichtigen Inhalte einer Seite.
Aus Sicht der Suchmaschinenoptimierung ist unter anderem das Problem Duplicate Content eine ständig anwesende Gefahr wenn es um das Ranking in den Suchmaschinen geht. Biete ich z.B. sämtliche Inhalte meiner Website als HTML und PDF Datei an, so kann ich mit Hilfe der robots.txt den PDF-Bereich für Crawler sperren.
Weiters ist es mit Hilfe der robots.txt Datei möglich, gewisse Bereiche einer Seite, welche für Suchmaschinen nicht relevant und auch nicht über einen Login geschützt sind, zu sperren.

Arbeite ich z.B. am Relaunch meiner Seite und will eine vorschnelle Indexierung in den Suchmaschinen verhindern, kann ich das ebenfalls mittels der robots.txt bewirken

Die robots.txt Datei ist eine reine Textdatei, befindet sich im Root-Verzeichnis einer Website und ist erste Anlaufstelle für die Robots einer Suchmaschinen. Grundsätzlich ist das Fehlen einer robots.txt kein Fehler. Habe ich keine Inhalte zu sperren, benötige ich keine robots.txt, jedoch ist das nur in den seltensten Fällen zutreffend. Somit zählt eine robots.txt zum guten Ton einer Website.

Einige typischen Einträge einer robots.txt sehen wie folgt aus:

Alle Inhalte werden für die Suchmaschinen gesperrt:
User-agent: *
Disallow: /

Ein bestimmtes Verzeichnis soll gesperrt werden (in diesem Fall „info“):
User-agent: *
Disallow: /info/

PDF-Dateien sollen nicht indiziert werden:
User-agent: *
Disallow: /*.pdf

Sämtliche Möglichkeiten findet man unter: http://de.wikipedia.org/wiki/Robots.txt

Es ist noch anzumerken, dass eine Indexierung gesperrter Bereiche auch bei einer vorhandener robots.txt passieren kann.

Weitere Informationen zum Thema Conversion-Optimierung!