Robots.txt: Robots.txt é um arquivo de regras publicado na raiz do host para orientar rastreadores sobre quais caminhos podem acessar. Ele controla permissões de rastreamento para robôs que respeitam o protocolo, mas não é um mecanismo de segurança nem uma garantia de retirada de URLs do índice.
Exemplo prático
Em https://exemplo.com/robots.txt, um site pode impedir que robôs cooperativos visitem determinada área técnica. Isso não torna o conteúdo privado: ele deve estar protegido por autenticação se for confidencial.
Como verificar ou aplicar
Verifique o arquivo do host correto, os grupos User-agent, as diretivas Allow e Disallow e conflitos com recursos necessários ao carregamento das páginas. Teste as regras antes de alterar o arquivo em produção.
Cuidado importante
Não use robots.txt para proteger dados sensíveis ou como substituto de noindex. Bloquear uma página pode impedir o buscador de ler uma diretiva noindex presente nela.
Referência e próximos passos
Veja a documentação técnica de referência ↗ para conferir os detalhes do conceito. Explore também outros termos do glossário e os guias práticos de SEO.
Perguntas frequentes
O que significa Robots.txt?
Robots.txt é um arquivo de regras publicado na raiz do host para orientar rastreadores sobre quais caminhos podem acessar. Ele controla permissões de rastreamento para robôs que respeitam o protocolo, mas não é um mecanismo de segurança nem uma garantia de retirada de URLs do índice.
Onde esse conceito é aplicado?
Em https://exemplo.com/robots.txt, um site pode impedir que robôs cooperativos visitem determinada área técnica. Isso não torna o conteúdo privado: ele deve estar protegido por autenticação se for confidencial.
Que cuidado tomar?
Não use robots.txt para proteger dados sensíveis ou como substituto de noindex. Bloquear uma página pode impedir o buscador de ler uma diretiva noindex presente nela.