WebSite X5 generuje plik robots.txt i wstawia go do katalogu głównego witryny, dzięki czemu wyszukiwarki internetowe wiedzą, które strony mają pominąć w indeksowaniu.
Roboty to programy, które automatycznie skanują witrynę z różnych powodów: na przykład wyszukiwarki, takie jak Google™, wykorzystują je do indeksowania zawartości witryny; z drugiej jednak strony programy rozpowszechniające spam wykorzystują je do uzyskania adresów e-mail bez autoryzacji.
Administratorzy witryn korzystają z pliku robots.txt, by poinformować roboty, czego oczekują względem swojej witryny: roboty (przynajmniej te godne zaufania) sprawdzają istnienie pliku robots.txt i wykonują zapisane w nim instrukcje, a dopiero potem sięgają do witryny.
Plik robots.txt jest prostym plikiem tekstowym z listą instrukcji określających:
| 1. | rodzaj robotów, dla których przeznaczone są instrukcje |
| 2. | adresy URL stron, które są chronione, więc wykluczone z przeszukiwania |
WebSite X5 proponuje domyślny plik robots.txt zawierający instrukcje, które informują roboty, do których folderów nie należy zaglądać, na przykład do folderów admin i res:
User-agent: * Disallow: /admin Disallow: /captcha Disallow: /menu Disallow: /imemail |
Podstawowe instrukcje te można zmienić stosownie do własnych potrzeb.
Chcąc poddać edycji plik robots.txt, wykonaj następujące czynności:
| ▪ | Otwórz okno Statystyki, optymalizacja SEO i kod | SEO i zaznacz pole wyboru Utwórz plik robots.txt. |
| ▪ | W polu poniżej ręcznie zmień treść instrukcji, które mają znaleźć się w pliku robots.txt. |
|
Więcej informacji na temat robotów i tworzenia pliku robots.txt znajdziesz na oficjalnej stronie http://www.robotstxt.org lub w Narzędziach dla webmasterów Google™ (Blokowanie lub usuwanie stron przy użyciu pliku robots.txt). |
