WebSite X5 est capable de générer le fichier robots.txt et de l'inclure dans le répertoire racine du Site, afin d'indiquer quels contenus doivent être exclus de l'indexation des Moteurs de recherche.
Les robots sont des programmes qui sondent automatiquement le Web à des fins différentes: les Moteurs de recherche tels que Google™, par exemple, les utilisent pour indexer le contenu; les spams, cependant, les utilisent pour recueillir frauduleusement des adresses e-mail.
La finalité du fichier robots.txt est de permettre au propriétaire d'un site Web de fournir des instructions aux robots sur ce qu'il faut faire avec leur site. En effet, les robots, du moins ceux qui sont fiables, effectuent un contrôle avant d'accéder aux pages d'un Site, afin de vérifier la présence d'un fichier robots.txt et en suivent les instructions.
Ainsi, le fichier robots.txt n'est rien de plus qu'un simple fichier texte qui contient les instructions nécessaires pour préciser :
| 1. | les robots auxquels s'appliquent les règles ; |
| 2. | l'URL des pages que vous souhaitez bloquer. |
WebSite X5 propose par défaut les instructions de base pour s'assurer que tous les robots ne considèrent pas le contenu de certains sous-dossiers comme, par exemple, admin et res :
User-agent: * Disallow: /admin Disallow: /captcha Disallow: /menu Disallow: /imemail |
Ces règles de base peuvent être modifiées manuellement en fonction de vos besoins spécifiques.
Pour modifier et inclure le fichier robots.txt, il suffit de suivre les étapes suivantes :
| ▪ | Ouvrir la fenêtre Statistiques, SEO et code | SEO et sélectionner l'option Inclure le fichier robots.txt. |
| ▪ | Utiliser le champ au-dessous pour modifier manuellement les instructions à inclure dans le fichier robots.txt. |
|
Pour plus d'informations et pour savoir comment créer un fichier robots.txt, voir le site officiel (http://www.robotstxt.org) ou consultez notre Centre d'Assistance pour Webmaster de Google™ (Bloquer ou supprimer des pages avec un fichier robots.txt) |
