WebSite X5 è in grado di generare il file robots.txt e di includerlo nella directory principale del Sito, al fine di indicare quali contenuti devono essere esclusi dall'indicizzazione dei Motori di ricerca.
I robots sono dei programmi che scandagliano automaticamente il Web con scopi diversi: i Motori di ricerca come Google™, per esempio, li utilizzano i per indicizzare i contenuti; gli spammer, invece, li impiegano per collezionare in maniera fraudolenta indirizzi e-mail.
L'obiettivo del file robots.txt è di permettere al proprietario di un Sito Web di fornire delle istruzioni ai robot su cosa devono fare con il loro sito. I robot, infatti, perlomeno quelli affidabili, prima di accedere alle pagine di un Sito, effettuano un controllo per verificare la presenza di un robots.txt e ne seguono le istruzioni.
Dunque, il file robots.txt non è altro che un semplice file di testo in cui sono elencate le istruzioni necessarie per specificare:
| 1. | i robot a cui si applicano le regole |
| 2. | le URL delle pagine che si vogliono bloccare. |
WebSite X5 propone di default le istruzioni di base per fare in modo che tutti i robot non considerino i contenuti di alcune sottocartelle come, per esempio, admin e res:
User-agent: * Disallow: /admin Disallow: /captcha Disallow: /menu Disallow: /imemail |
Queste regole di base possono, comunque, essere modificate manualmente in base alle proprie esigenze specifiche.
Per modificare e includere il file robots.txt è sufficiente:
| ▪ | Aprire la finestra Statistiche, SEO e Codice | SEO e selezionare l'opzione Includi il file robots.txt. |
| ▪ | Utilizzare il campo sottostante per modificare manualmente le istruzioni da includere nel file robots.txt. |
|
Per maggiori informazioni e per sapere come creare il file robots.txt, vedere il sito ufficiale (http://www.robotstxt.org) o consultare il Centro Assistenza per Webmaster di Google™ (Blocco o rimozione di pagine utilizzzando un file robots.txt) |
