WebSite X5 es capaz de generar el archivo robots.txt y de incluirlo en el directorio principal del sitio web, a fin de indicar qué contenidos deben ser excluidos de la indexación de los motores de búsqueda.
Los robots son programas que rastrean automáticamente la red con diferentes objetivos: los motores de búsqueda de Google™, por ejemplo, los utilizan para indexar los contenidos, los spammers, en cambio, los emplean para recoger de manera fraudulenta direcciones de correo electrónico.
El objetivo del archivo robots.txt es permitir al propietario de un sitio web suministrar instrucciones a los robots sobre qué deben hacer con su sitio. Los robots, de hecho, por lo menos aquellos en los que se puede confiar, antes de acceder a las páginas de un sitio, verifican si hay un robots.txt y siguen sus instrucciones.
Por lo tanto, el archivo robots.txt no es otra cosa que un simple archivo de texto en el que hay una lista de instrucciones necesarias para especificar:
| 1. | los robots a los que se aplican las reglas |
| 2. | los URL de las páginas que se quieren bloquear. |
WebSite X5 propone por defecto las instrucciones básicas para hacer que todos los robots no tengan en cuenta los contenidos de algunas subcarpetas, como por ejemplo admin y res:
User-agent: * Disallow: /admin Disallow: /captcha Disallow: /menu Disallow: /imemail |
En cualquier caso, estas reglas básicas pueden ser modificadas manualmente en función de las propias exigencias específicas.
Para modificar e incluir el archivo robots.txt es suficiente lo siguiente:
| ▪ | Abrir la ventana SEO | General y seleccionar la opción Incluir el archivo robots.txt. |
| ▪ | Utilizar el campo de abajo para modificar manualmente las instrucciones a incluir en el archivo robots.txt. |
|
Para más información y para saber cómo crear el archivo robots.txt, ver el sitio web oficial (http://www.robotstxt.org) o consultar el Centro de Asistencia para Webmasters de Google™ (Cómo bloquear o eliminar páginas con un archivo robots.txt). |
