O arquivo robots.txt fica na raiz do domínio e oferece orientações de rastreamento para robôs que respeitam esse padrão. Ele pode indicar áreas que não precisam ser percorridas e informar a localização do sitemap. Apesar de pequeno, merece atenção em publicações, migrações e reformulações.
O robots.txt não é uma senha, não protege arquivos confidenciais e não garante que uma URL desapareça das buscas. Sua função é gerenciar rastreamento. Controle de acesso, remoção e indexação exigem recursos apropriados para cada caso.
Localize a versão pública do arquivo
O endereço costuma seguir o formato https://dominio.com.br/robots.txt. Abra essa URL sem estar conectado à administração e confirme que o servidor entrega texto legível, sem redirecionar para login, página de erro ou outro domínio.
Cada subdomínio pode ter seu próprio arquivo. Uma regra no domínio principal não necessariamente representa blog, loja ou área publicada em outro endereço.
Entenda a estrutura antes de editar
As regras normalmente identificam um agente e os caminhos permitidos ou bloqueados. Um caractere, barra ou diretório incorreto pode ampliar o alcance da instrução. Não copie um arquivo de outro site sem comparar tecnologias e rotas.
Mantenha comentários apenas quando ajudam a equipe a entender a finalidade. Complexidade desnecessária torna futuras alterações mais arriscadas.
Não bloqueie páginas públicas importantes
Página inicial, serviços, unidades, artigos e páginas comerciais precisam estar acessíveis quando a intenção é aparecer nas buscas. Depois de uma migração, confira se regras usadas no ambiente de teste não foram levadas para produção.
O guia sobre site novo que não aparece no Google ajuda a separar problemas de descoberta, indexação e posicionamento.
Avalie áreas técnicas com cuidado
Painéis administrativos, resultados internos, filtros infinitos, URLs temporárias e rotas sem valor público podem exigir tratamento. Antes de bloquear, verifique se recursos necessários para renderizar as páginas — como estilos e scripts — não estão dentro do mesmo caminho.
Um bloqueio amplo pode impedir que o conteúdo seja interpretado corretamente. Prefira regras específicas e teste o efeito sobre páginas representativas.
Não use robots.txt para esconder dados
O arquivo é público e pode revelar nomes de diretórios. Informações privadas precisam de autenticação, autorização e configuração segura no servidor. Se qualquer pessoa consegue abrir a URL, adicioná-la ao robots.txt não cria proteção.
Também evite publicar caminhos internos, cópias de documentos ou ambientes de teste no domínio público. Segurança deve existir independentemente do comportamento dos robôs.
Diferencie rastreamento e indexação
Bloquear rastreamento significa pedir que o conteúdo não seja acessado pelo robô. Isso não é a mesma coisa que declarar que uma página não deve ser indexada. Uma URL ainda pode ser conhecida por links externos ou registros anteriores.
Quando uma página pública não deve aparecer nas buscas, use uma estratégia compatível com o objetivo e permita o acesso necessário para que a diretiva seja lida. Quando a página é privada, proteja o acesso.
Informe o sitemap correto
O arquivo pode indicar a URL absoluta do sitemap. Confirme protocolo, domínio e caminho. A referência deve apontar para o inventário atual, não para um endereço antigo ou arquivo de teste.
Veja como selecionar URLs e datas no artigo sobre sitemap XML para sites de empresas.
Revise depois de mudar domínio ou estrutura
Trocas de plataforma, subdomínio e pastas podem deixar regras obsoletas. Compare caminhos antigos com a nova arquitetura e remova instruções que já não têm função. Confira também redirecionamentos, canonicals e links internos.
Durante uma reformulação de site, inclua o arquivo na lista de publicação e não espere o tráfego cair para revisá-lo.
Teste páginas, não apenas a sintaxe
Uma regra pode estar escrita corretamente e ainda produzir o efeito errado. Separe URLs de serviços, blog, imagens, estilos e áreas administrativas. Verifique o comportamento esperado para cada grupo.
Depois da publicação, acompanhe relatórios de rastreamento e indexação. Se páginas importantes deixam de ser descobertas, compare a data do problema com mudanças técnicas recentes.
Evite alterações frequentes sem motivo
O arquivo não precisa ser reescrito a cada artigo. Atualize quando a arquitetura, a plataforma ou a estratégia de rastreamento mudar. Registre o motivo da alteração e preserve uma forma de identificar a versão anterior.
Em equipes com vários fornecedores, defina quem pode modificar regras. Uma mudança isolada pode afetar marketing, conteúdo e suporte sem que as outras áreas percebam.
Checklist do robots.txt
- arquivo disponível na raiz correta;
- domínio e protocolo conferidos;
- regras de teste removidas da produção;
- páginas públicas importantes liberadas;
- recursos de renderização acessíveis;
- áreas técnicas tratadas com regras específicas;
- dados privados protegidos fora do arquivo;
- sitemap atual informado;
- URLs representativas testadas;
- mudanças registradas e acompanhadas.
Controle simples reduz riscos
Um robots.txt enxuto, revisado e coerente com o site cumpre melhor sua função. Antes de adicionar bloqueios, entenda o caminho, o conteúdo e a consequência para a página que o cliente precisa encontrar.
Quer revisar a base técnica do seu site?
Peça uma demonstração personalizada e veja como a Site Impulso pode organizar páginas, rastreamento e fundamentos de SEO para o seu negócio.
Pedir demonstração