Robots.txt é um arquivo de texto na raiz do site que diz aos rastreadores quais URLs podem acessar. Serve principalmente para gerenciar o tráfego de rastreamento. Não é ferramenta de privacidade: robôs bem-comportados o respeitam, outros podem ignorá-lo, e o arquivo é público.
Regras que costumam surpreender
- Vale apenas para o mesmo host, protocolo e porta; um arquivo em subpasta não tem efeito.
- Caminhos diferenciam maiúsculas: /loja não cobre /Loja.
- Em conflito, vence a regra de caminho mais longo; em empate, a menos restritiva.
- O asterisco cobre qualquer sequência e o cifrão ancora o fim da URL.
- O Google ignora o que passar de 500 KiB e costuma manter o arquivo em cache por até 24 horas.
Exemplo de regras para uma loja
Uma loja hipotética quer impedir o rastreamento de busca interna e carrinho sem afetar o catálogo. Ela pode usar User-agent: * seguido de Disallow: /busca e Disallow: /carrinho, e acrescentar Sitemap: com a URL completa. Vale conferir se a regra não pega páginas com prefixo parecido, como /buscador-de-pecas, que também começaria com /busca. Nesse caso, Disallow: /busca/ com barra final limitaria o alcance.
Testes antes e depois de publicar
- Abra seudominio.com.br/robots.txt e verifique se responde 200, sem redirecionamento inesperado.
- No Search Console, abra o relatório robots.txt para ver a última versão lida, as versões dos últimos 30 dias e os erros.
- Use a Inspeção de URL em uma página que deve estar liberada e em outra que deve estar bloqueada.
- Em Ver a página testada, confirme que CSS e scripts necessários não foram bloqueados.
Disallow e noindex juntos não funcionam
Para o noindex funcionar, o Google precisa acessar a página. Se o robots.txt bloqueia a URL, a regra nunca é lida, e o endereço pode continuar nos resultados caso outros sites o citem. Para tirar do índice, libere o rastreamento e use noindex; para conteúdo sensível, use senha. Atenção também ao status do próprio arquivo: 4xx é tratado como ausência de restrições, e 5xx pode interromper o rastreamento nas primeiras 12 horas. Depois, o Google usa a última cópia válida por até 30 dias.
Referência técnica
Para aprofundar, consulte documentação do Google sobre robots.txt ↗. A SEOZILLA também disponibiliza ferramentas de SEO e um diagnóstico inicial gratuito.
Perguntas frequentes
Devo bloquear CSS e JavaScript para economizar rastreamento?
Só o que não altera a compreensão da página. Se a ausência do recurso muda o conteúdo ou o layout renderizado, o bloqueio atrapalha a análise feita pelo Google.
Posso usar 403 no robots.txt para reduzir o rastreamento?
Não. Respostas 4xx, exceto 429, são lidas como se o arquivo não existisse, o que libera tudo. O próprio Google desaconselha esse uso de 401 e 403.