Robots.txt Generator

Sitemap URL (valgfrit)

Genereret robots.txt

Hvad er robots.txt?

robots.txt er en tekstfil placeret i roden af dit website (f.eks. https://example.com/robots.txt), der fortæller webcrawlere, hvilke sider eller sektioner de kan eller ikke kan tilgå. Det er en del af Robots Exclusion Protocol. Mens søgemaskinerobotter generelt respekterer den, kan ondsindede bots ignorere den. Brug den til at blokere duplikerede sider, adminområder og private sektioner fra at blive crawlet.

Sådan bruger du Robots.txt Generatoren

Vælg en forudindstilling eller start fra bunden ved at klikke på '+ Tilføj regel'.
Indstil User-agent-feltet til at målrette en specifik bot (brug * for alle bots).
Tilføj Disallow-stier for sider, du ikke ønsker crawlet, og Allow-stier for undtagelser.
Indstil valgfrit en Crawl-delay (i sekunder) for at bremse aggressive crawlere.
Tilføj din sitemap-URL nederst.
Kopiér outputtet og gem det som robots.txt i din websites rodmappe.

Keywords: robots.txt generator, robots.txt fil, bloker crawlere, bloker bots, SEO robotter, sitemap robotter, webcrawler regler