Já vou logo dizendo: não se trata de black hat! O pessoal aqui do Agência Mestre é white hat e não recomenda o uso de black hat por razões óbvias e que não serão discutidas aqui neste post.

Porque então esconder páginas e/ou conteúdo das search engines você deve estar perguntando! A idéia de esconder páginas seria para bloquear conteúdo que não se deseja que seja indexado nas SERPs (páginas de resposta à uma busca). Isso é útil quando você não disponibiliza para todos os usuários o conteúdo do site, como o caso de ser necessário registrar-se no site, evitar de alguma forma conteúdo duplicado, controlar o PageRank e alguma outra necessidade que você possa vir a ter, que não seja de alguma forma black hat SEO.

Vamos às dicas:

  • Robots.txt: Provavelmente é o jeito mais fácil de se bloquear o acesso de search engines à uma página. Você cria um arquivo .txt, configura algumas diretrizes neste e arquivo e o deixa na raiz do domínio. Porém, no meu post sobre indexação no google, é apontada uma possível falha no robots.txt. Mais informações sobre o robots.txt.
  • Meta Robots Tag: ‘<meta name=”robots” content=”noindex” />’ – esta é a sintaxe a ser adotada no código html para que uma página não seja indexada nas SERPs. Detalhe: Mesmo mantendo fora das páginas de pesquisa, a search engine pode ler a página e seguir os links contidos nela.
  • Iframes: como search engines não enxergam o iframe como conteúdo da página você pode colocá-lo em uma página e a search engine não irá ler o seu conteúdo. Claro, para isso, a URL do iframe deve ser bloqueado no robots.txt. Iframes também são interessantes para diminuir o tamanho da página para a search engine, diminuir o número de links, controlando o PageRank.
  • Texto em Imagem: use com cuidado! Por enquanto, as search engines não são capazes de ler texto em imagens, portanto é uma forma de esconder conteúdo das search engines. Mas com cuidado para não acabar em black hat! Estou considerando aqui o texto dentro da imagem, compondo a imagem e não uma imagem escondendo um texto!
  • JavaApplets/Javascript: Denovo, search engines não se dão bem com esses códigos, é possível esconder um conteúdo aí, mas é uma prática pouco recomendada. Não arrisque seu site em cima disso, use as outras dicas! =)
  • Remoção de URL: as grandes search engines permitem que o webmaster indique diretamente no sistema das search engines quais URLs não devem ser indexadas. Por exemplo, pelo Site Explorer do Yahoo! ou a central de webmaster do google.

Pois bem, essas são algumas dicas para se restringir o acesso de search engines à partes do site as quais você não queira que sejam indexadas. Se você tiver mais alguma a acrescentar, deixe um comentário!

Abraços e até as próximas dicas de SEO!

————————————————-

Update: 26/02/2008

No meu blog, FrankMarcel.com, eu coloquei um vídeo do próprio Matt Cutts do google comentando algumas formas de remover conteúdo/páginas do google. Confira!

————————————————-

Update: 21/03/2008

Como foi muito bem lembrado pelo Gustavo ali nos comentários:

Fonte: SEOmoz.org