Einstellung und Verwendung einer robots.txt-Datei

Praktische Anwendung > Schritt 1 - Allgemeine Einstellungen > Einbinden von Google-Tools >

Einstellung und Verwendung einer robots.txt-Datei

Previous pageReturn to chapter overviewNext page

WebSite X5 generiert die Datei robots.txt und speichert sie im Hauptverzeichnis der Website, um zu definieren, welche Inhalte von der Indexierung durch Suchmaschinen ausgeschlossen werden sollen.

Robots sind Programme, die zu verschiedenen Zwecken automatisch das Netz scannen: Suchmaschinen wie zum Beispiel Google™ verwenden Robots, um Inhalte zu indexieren. Spammer hingegen nutzen sie, um rechtswidrig E-Mail-Adressen zu sammeln.

Ziel der Datei robots.txt ist es, dem Betreiber einer Website die Möglichkeit zu geben, Robots Anweisungen darüber zu erteilen, wie sie mit der jeweiligen Website umgehen. Zuverlässige Robots prüfen vor dem Zugriff auf eine Website, ob eine Datei robots.txt vorhanden ist, und befolgen die darin enthaltenen Anweisungen.

Die Datei robots.txt ist eine einfache Textdatei, die die erforderlichen Anweisungen für folgende Informationen enthält:

1. Robots, für die die Anweisungen gelten
2. Die URL der Seiten, die gesperrt werden sollen.

WebSite X5 setzt standardmäßig die Grundanweisungen ein, um zu gewährleisten, dass kein Robot Inhalte von Unterverzeichnissen, wie zum Beispiel admin und res berücksichtigt.

User-agent: * 

Disallow: /admin 

Disallow: /res

Diese Grundregeln können nach den individuellen Anforderungen manuell geändert werden.

Um die robots.txt-Dateien zu ändern und einzufügen, reicht es aus:

Öffnen Sie das Fenster Statistiken, SEO und Code | Allgemein und wählen Sie die Option Datei robots.txt einschließen.
Verwenden Sie das unten stehende Feld, um manuell die Anweisungen, die in die robots.txt-Datei aufgenommen werden sollen zu ändern.

Für weitere Informationen und um zu erfahren, wie Dateien robots.txt erstellt werden, besuchen Sie bitte die offizielle Website (http://www.robotstxt.org) oder die Hilfe der Google™ Webmaster-Tools (Seiten mithilfe einer robots.txt-Datei blockieren oder entfernen).