WebSite X5 генерирует файл robots.txt и добавляет его в главную папку сайта, так что поисковые машины знают, что из контента нужно исключить из индексирования.
Роботы - это программы, которые автоматически сканируют Интернет по разным причинам: поисковые машины, такие как Google™, например, используют их, чтобы индексировать содержимое сайтов; спамеры, с другой стороны, используют их для получения адресов электронной почты без авторизации.
Владелец сайта использует файл robots.txt, чтобы сообщить программам-роботам, что они могут делать на сайте: роботы (по крайней мере, те, которые заслуживают доверия) проверяют наличие файла robots.txt и следуют его инструкциям до того, как получают доступ к сайту.
Так что файл robots.txt - это просто текстовый файл со списком инструкций, где указаны:
| 1. | вид роботов, к которым применимы правила |
| 2. | URL-адреса заблокированных страниц. |
WebSite X5 по умолчанию предоставляет файл robots.txt, содержащий инструкции, так что роботы не должны просматривать содержимое определенных папок, таких как admin и res, вот они:
User-agent: * Disallow: /admin Disallow: /captcha Disallow: /menu Disallow: /imemail |
Можно изменить эти инструкции в соответствии с вашими специфическими требованиями.
Для изменения и включения файла robots.txt достаточно:
| ▪ | Открыть окно Статистика, SEO и код | SEO и выбрать опцию Включить файл robots.txt. |
| ▪ | Использовать нижеследующее поле, чтобы вручную изменить инструкции для включения их в файл robots.txt. |
|
Для получения дополнительной информации о роботах и о создании файла robots.txt, см. официальный сайт http://www.robotstxt.org или посмотрите Google™ Webmaster Central (Блокировка и удаление страниц из индекса с помощью файла robots.txt) |
