Robots.Txt

Das Erstellen einer robots.txt Datei ist einfach. Du benötigst dafür lediglich einen Texeditor. Alternativ kannst du auf kostenfreie Tools aus dem Internet zurückgreifen, die den Prozess automatisch durchführen. Auch Google stellt in seinen Webmastertools einen Generator zur Verfügung, den du allerdings nur mit einem gültigen Google-Account nutzen kannst. Der Aufbau jeder robots.txt Datei erfolgt nach einem bestimmten Schema, wobei sich der Datensatz aus zwei Teilen zusammensetzt. Im ersten Teil wird der User Agent benannt, für den die Anweisungen gelten sollen, während im zweiten Teil die Anweisungen selbst hinterlegt werden. In der Praxis sieht die Formulierung des ersten Befehls für den Google-Crawler folgendermaßen aus:

User-agent: Googlebot
Disallow:

Damit ist klar, dass sich der Datensatz auf den Googlebot bezieht. Wird hinter der Bezeichnung „Disallow“ kein Verzeichnis genannt, erlaubst du Google die Indexierung aller Webseiten. Möchtest du die gesamte Seite für die Indexierung sperren, benutzt du einen einzelnen Slash.

User-agent: Googlebot
Disallow: /

Wenn du bestimmte Verzeichnisse oder Unterseiten für alle Robots und damit für sämtliche Suchmaschinen ausschließen möchtest, verwendest du einen Platzhalter, der als Wildchar bezeichnet wird. Die robots.txt Datei sieht in dem Fall folgendermaßen aus:

User-agent: *
Disallow: /beispielverzeichnis/

Auch das gezielte Ausschließen mehrerer User Agents ist mit der robots.txt Datei möglich. Dabei werden die Robots untereinander angegeben. Sollen die User Agents von Google, Yahoo und MSN / Bing ausgeschlossen werden, erfolgt die Eingabe nach folgendem Muster:

User-agent: Googlebot
User-agent: slurp
User-agent: bingbot
Disallow:

Nach dem gleichen Schema verfährst du, wenn mehrere Unterseiten nicht indexiert werden sollen. In diesem Fall erstellst du für jedes Verzeichnis eine eigene Disallow-Zeile.

User-agent: Googlebot
Disallow: /beispielverzeichnis/
Disallow: /beispielverzeichnis-1/
Disallow: /beispieldatei.html