Suchmaschinenoptimierung

Die so genannte robots.txt-Datei ist ein Sonderfall in der Suchmaschinenoptimierung. Für die User sind sie nicht sichtbar. Bei der Indexierung durch Suchmaschinen hingegen spielen sie eine sehr wichtige Rolle, da Crawler immer zuerst nach dieser Datei suchen.

Seit 1994 gibt es Standards für robots.txt-Dateien. Diese sind nicht verpflichtend, werden jedoch von den meisten Suchmaschinen eingehalten.

Eine robots.txt-Datei muss immer genau so heißen und sich im Root-Verzeichniss befinden, da die Crawler nur hier nach ihr suchen. Sie wird mit einem einfachen Texteditor der keine Textmarkierung vornimmt erstellt, ein Beispiel hierfür wäre Editra.
Über eine robots.txt-Datei wird festgelegt, welche Dateien von Suchmaschinen indexiert werden dürfen und welche nicht. Es ist auch möglich dies für unterschiedliche Suchmaschinen spezifisch zu regeln.

Eine robots-txt-Datei besteht aus zwei Anweisungsteilen.

Am Anfang der Datei wird mit Hilfe der User-agent-Definition angegeben für welche Programme die Anweisungen gelten. Hierbei steht die Wildcard(*) für alle Robots zugleich.

Darauf folgen die Disallow- und Allow-Anweisungen. Sie teilen den Crawlern mit welche Dateien durchsucht werden dürfen und welche nicht.
Allow-Anweisungen sind googlespezifisch, sie werden von anderen Programmen nicht beachtet.

Auf jede Disallow- bzw. Allow-Anweisungen darf nur ein Wert folgen. Dier Wert wird mit / eingeleitet und mit / auch wieder beendet.

Mit Hilfe des Hasch-Zeichens(#) wird eine Kommentarzeile gekennzeichnet.





Da Crawler sich von oben nach unten durch die Datei arbeiten sollte man spezifische Angaben an den Anfang schreiben und Allgemeingültige erst im Anschluss daran.





Für spezifische Angaben ist es selbstverständlich wichtig den genauen Namen des Robots zu kennen, eine Listung hiervon findest du hier: robotstxt.org

Verwende einen robots.txt Validator.