Gerador de Robots.txt
O que é robots.txt?
robots.txt é um arquivo de texto colocado na raiz do seu site (ex.: https://example.com/robots.txt) que informa aos rastreadores web quais páginas ou seções podem ou não ser acessadas. Faz parte do Robots Exclusion Protocol. Embora os bots de mecanismos de busca geralmente o respeitem, bots maliciosos podem ignorá-lo. Use-o para bloquear o rastreamento de páginas duplicadas, áreas de administração e seções privadas.
Como usar o Gerador de Robots.txt
-
Escolha uma configuração predefinida ou comece do zero clicando em '+ Adicionar regra'.
-
Defina o campo User-agent para direcionar um bot específico (use * para todos os bots).
-
Adicione caminhos Disallow para páginas que não quer que sejam rastreadas e caminhos Allow para exceções.
-
Opcionalmente, defina um Crawl-delay (em segundos) para diminuir a velocidade de rastreadores agressivos.
-
Adicione a URL do seu mapa do site na parte inferior.
-
Copie o resultado e salve-o como robots.txt no diretório raiz do seu site.
Keywords: gerador robots.txt, arquivo robots.txt, bloquear rastreadores, bloquear bots, robots SEO, robots sitemap, regras rastreador web