O WebSite X5 gera o arquivo robots.txt e o adiciona ao diretório principal do website, de modo que os mecanismos de busca saibam qual conteúdo excluir da indexação.
Robôs são programas que sondam a web automaticamente, por diferentes motivos: mecanismos de busca como o Google™, por exemplo, usam robôs para indexar conteúdos dos websites. Já os spammers, por outro lado, usam-nos para obter endereços de email sem autorização.
O proprietário de um website usa o arquivo robots.txt para dizer aos programas robôs o que eles deveriam fazer com seu website: robôs (pelo menos os confiáveis) procuram um arquivo robots.txt e seguem as instruções nele, antes de acessar um website.
Então, o arquivo robots.txt é simplesmente um arquivo de texto com uma lista de instruções que especificam:
| 1. | o tipo de robô a que as regras se aplicam |
| 2. | as URLs das páginas que devem ser bloqueadas. |
O WebSite X5 fornece um arquivo robot.txt padrão que contém instruções para que nenhum robô considere o conteúdo de algumas pastas, como as pastas admin e res:
User-agent: * Disallow: /admin Disallow: /captcha Disallow: /menu Disallow: /imemail |
Você pode alterar estas instruções básicas, de acordo com seus requisitos específicos.
Para editar e incluir o arquivo robots.txt, você deve:
| ▪ | Abrir a janela Estatísticas, SEO e código | SEO e selecionar a opção Incluir o arquivo robots.txt. |
| ▪ | Use o campo logo abaixo para editar manualmente as instruções a serem incluídas no arquivo robots.txt. |
|
Para maiores informações sobre robôs, e como criar um arquivo robots.txt, visite o website oficial http://www.robotstxt.org ou consulte a Central Google™ para Webmastersl (Bloquear ou remover páginas usando um arquivo robots.txt). |
