Você indica um user-agent, os caminhos bloqueados (um por linha, começando com /) e, se quiser, a URL do sitemap. A ferramenta escreve as linhas User-agent, Disallow e Sitemap no navegador. Ela gera um único grupo de regras, sem linhas Allow, e não lê nem valida o robots.txt que já está no seu site: a única checagem é se cada caminho começa com barra e se a URL do sitemap é válida.
Usar ferramenta gratuita
Como interpretar o resultado
Confira o que cada linha significa antes de publicar: Disallow: /admin/ pede que o rastreador não acesse esse diretório, sem retirá-lo do índice. Uma URL bloqueada ainda pode aparecer se outras páginas apontarem para ela, e o Google deixa de ver um noindex que esteja nessa URL. As regras diferenciam maiúsculas de minúsculas: /Admin/ não cobre /admin/. Se o campo de caminhos ficar vazio, o grupo sai sem nenhuma regra Disallow.
Limites de uso e privacidade
O conteúdo digitado fica no navegador. O resultado copiado ou baixado inclui uma linha final de observação: apague essa linha e salve o arquivo com o nome robots.txt, porque o download vem com outro nome. Para vários grupos de user-agent ou regras Allow, será preciso editar à mão. O arquivo vale só para o host e o protocolo onde estiver publicado, ou seja, subdomínios precisam do próprio arquivo.
O que fazer depois
- Publique o arquivo na raiz do host e abra o endereço em uma janela anônima para confirmar o acesso público.
- Abra o relatório de robots.txt do Search Console para ver se o Google o buscou e encontrou problemas de leitura.
- Teste se CSS, JavaScript e páginas importantes continuam liberados, sobretudo depois de bloquear um diretório amplo.
Se precisar de análise além do escopo da ferramenta, solicite um diagnóstico gratuito.
Perguntas frequentes
Como tirar uma página do Google, se o robots.txt não faz isso?
Use noindex em meta tag ou no header X-Robots-Tag e deixe a URL liberada para rastreamento, pois o Google precisa acessá-la para ler a regra. Proteger com senha ou remover a página também são opções.
Posso usar curingas nos caminhos bloqueados?
Sim, a ferramenta aceita qualquer caminho iniciado por barra, como /*?filtro=, e o Google entende o asterisco em regras de caminho. Teste com cuidado, pois um padrão amplo pode bloquear páginas que deveriam ser rastreadas.
A linha Sitemap é obrigatória?
Não. Ela é uma forma de indicar o sitemap e precisa usar a URL completa, com protocolo e host exatos, já que o Google não testa variações com ou sem www.