Robots.txt Generator

Sitemap URL (valfritt)

Genererad robots.txt

Vad är robots.txt?

robots.txt är en textfil placerad i roten av din webbplats (t.ex. https://example.com/robots.txt) som talar om för webbcrawlers vilka sidor eller sektioner de kan eller inte kan komma åt. Det är en del av Robots Exclusion Protocol. Medan sökmotorrobotar generellt respekterar det, kan skadliga bottar ignorera det. Använd det för att blockera duplicerade sidor, adminområden och privata sektioner från att crawlas.

Hur du använder Robots.txt Generator

Välj en förinställning eller börja från grunden genom att klicka på '+ Lägg till regel'.
Ange User-agent-fältet för att rikta in dig på en specifik bot (använd * för alla bottar).
Lägg till Disallow-sökvägar för sidor du inte vill ska crawlas och Allow-sökvägar för undantag.
Ange valfritt en Crawl-delay (i sekunder) för att bromsa aggressiva crawlers.
Lägg till din webbplatskarta URL längst ner.
Kopiera resultatet och spara det som robots.txt i din webbplats rotkatalog.

Keywords: robots.txt generator, robots.txt fil, blockera crawlers, blockera bottar, SEO robots, sitemap robots, webbcrawlerregler