Как создать и использовать файл Robots.txt

Лучшая практика > Этап 1 - Настройки > Раздел Расширенные > Работа с Google >

Как создать и использовать файл Robots.txt

Previous pageReturn to chapter overviewNext page

WebSite X5 генерирует файл robots.txt и добавляет его в главную папку сайта, так что поисковые машины знают, что из контента нужно исключить из индексирования.

Роботы - это программы, которые автоматически сканируют Интернет по разным причинам: поисковые машины, такие как Google™, например, используют их, чтобы индексировать содержимое сайтов; спамеры, с другой стороны, используют их для получения адресов электронной почты без авторизации.

Владелец сайта использует файл robots.txt, чтобы сообщить программам-роботам, что они могут делать на сайте: роботы (по крайней мере, те, которые заслуживают доверия) проверяют наличие файла robots.txt и следуют его инструкциям до того, как получают доступ к сайту.

Так что файл robots.txt - это просто текстовый файл со списком инструкций, где указаны:

1. вид роботов, к которым применимы правила
2. URL-адреса заблокированных страниц.

WebSite X5 по умолчанию предоставляет файл robots.txt, содержащий инструкции, так что роботы не должны просматривать содержимое определенных папок, таких как admin и res, вот они:

User-agent: *

Disallow: /admin

Disallow: /captcha

Disallow: /menu

Disallow: /imemail

Можно изменить эти инструкции в соответствии с вашими специфическими требованиями.

Для изменения и включения файла robots.txt достаточно:

Открыть окно SEO | Общие настройки и выбрать опцию Включить файл robots.txt.
Использовать нижеследующее поле, чтобы вручную изменить инструкции для включения их в файл robots.txt.

Для получения дополнительной информации о роботах и о создании файла robots.txt, см. официальный сайт http://www.robotstxt.org или посмотрите Google™ Webmaster Central (Блокировка и удаление страниц из индекса с помощью файла robots.txt)