Logo Tutorialoase

Hauptmenü: | Startseite | Gästebuch | Link ME | Partnerseiten | Geschenke | Impressum | Disclaimer


Tutorial
Metatags



Meta Tags

Zeichensatz

Titel

Description

robots.txt

Robots

Keywords





Tutorial robots.txt


Logo schecky Bevor wir uns um den Meta Tag robots kümmern, brauchen wir zuerst eine robots.txt Datei.

Dazu braucht ihr euren Texteditor. Erstellt eine txt Datei. Ja ihr habt richtig gelesen. Eine einfache Text Datei. Diese nennt ihr dann robots, unbedingt alles klein schreiben.

Nun haben wir unsere robots.txt Datei. Das war doch gar nicht so schwer.

In die erste Zeile schreibt ihr zuerst dieses Zeichen # rein. Damit wird eine Kommentarzeile gekennzeichnet. Jetzt geben wir einen Kommentar ein, zu wem die robots.txt Datei gehört.

# robots.txt zu http://www.beispielseite.de/

Wir werden nun mit 2 verschiedenen Datensätzen arbeiten. Ich stelle vor User-agent: und Disallow:
Mit dem Datensatz User-agent: geben wir an, für wen die Anweisung gilt...also welchen Robot ( Spider )
Mit dem Datensatz Disallow: geben wir an was wir verbieten möchten.

Im Internet geistert zwar der Mythos rum, man würde mit der robots.txt den Suchmaschinen erlauben die Webseite zu crawlen, doch genau das Gegenteil bewirkt die robots.txt Datei. Wir können unerwünschte Besucher komplett aussperren, oder auch nur Teile unserer Webseite unzugänglich machen. Es gibt leider auch böse Suchmaschinen die sich nicht daran halten.

1. Beispiel alle aussperren

# robots.txt zu http://www.beispielseite.de/
User-agent: *
Disallow: /
User-agent: Mit dem Sternchen sprechen wir alle Spider an.
Disallow: Hier brauchen wir keine weitere Angabe zu machen, da wir mit dem Slash ( / ) die komplette Homepage gesperrt haben.


2. Beispiel Spammail robot aussperren. Dazu sollte der Name vom Spider bekannt sein, in unserem Beispiel hat er den Namen EmailCollector.

# robots.txt zu http://www.beispielseite.de/
User-agent: Emailfantasie
Disallow: /
User-agent: Namen vom robot ( Spider) Spammail
Disallow: mit dem Slash ( / ) haben wir die komplette Webseite gesperrt.


3. Beispiel wir sperren ein komlettes Verzeichnis z.b downloads aus.

# robots.txt zu http://www.beispielseite.de/
User-agent: *
Disallow: /downloads
User-agent: mit dem Sternchen haben wir alle Spider angesprochen.
Disallow: /downloads die robots aus dem Ordner downloads ausgesperrt. Hier kommst Du nicht rein ;-)


4. Beispiel Dateien mit einer bestimmten endung aussperren. z.b .htm, .gif, .xls u.s.w

# robots.txt zu http://www.beispielseite.de/
User-agent: *
Disallow: /*.xls$
User-agent: mit dem Sternchen haben wir alle Spider angesprochen.
Disallow: wenn eine bestimmte Datei endung ausgesperrt werden soll, wird mit Sternchen und $ Dollarzeichen gearbeitet.


5. Beispiel eine bestimmte Datei aussperren.

# robots.txt zu http://www.beispielseite.de/
User-agent: *
Disallow: /bilder/meinbild.gif
User-agent: mit dem Sternchen haben wir alle Spider angesprochen.
Disallow: den korrekten pfad zur bestimmten Datei angeben, um eine bestimmte Datei für die Spider zu sperren.


Die robots.txt Datei legt ihr nun in eurem Stammverzeichnis ab. Damit ihr die so abrufen könnt http://www.beispielseite.de/robots.txt. Auf keinen Fall in einem Unterordner ablegen. Dort wird die robots.txt Datei nicht gefunden.


Übung Tutorial robots.txt

Erstellt eine robots.txt Datei mit folgenden Anweisungen:
- Sperrt alle .gif Bilder für den Crawler Gxxglebot-Image
- Sperrt für alle Suchmaschinen den Ordner brot der im Unterordner eifel liegt.
- Sperrt für alle Suchmaschinen .jpg Bilder.




Lösung

# robots.txt zu http://www.beispielseite.de/
User-agent: *
Disallow:/eifel/brot
Disallow:/*.jpg$

User-agent:Gxxglebot-Image
Disallow:*.gif$

Als nächstes schauen wir uns das Tutorial Metatag robots an. Die Grundlage haben wir mit diesem Tutorial ja schon geschaffen.




Tutorial Metatag robots --->