Robots.txt Generator
Hva er robots.txt?
robots.txt er en tekstfil plassert i roten av nettstedet ditt (f.eks. https://example.com/robots.txt) som forteller webcrawlere hvilke sider eller seksjoner de kan eller ikke kan ha tilgang til. Det er en del av Robots Exclusion Protocol. Selv om søkemotorrobotene generelt respekterer det, kan ondsinnede bots ignorere det. Bruk det til å blokkere dupliserte sider, adminområder og private seksjoner fra å bli krypsøkt.
Slik bruker du Robots.txt Generatoren
-
Velg en forhåndsinnstilling eller start fra bunnen ved å klikke '+ Legg til regel'.
-
Still inn User-agent-feltet for å målrette en spesifikk bot (bruk * for alle bots).
-
Legg til Disallow-stier for sider du ikke vil at skal krypsøkes, og Allow-stier for unntak.
-
Angi eventuelt en Crawl-delay (i sekunder) for å bremse aggressive krypsøkere.
-
Legg til nettstedskartet ditt URL nederst.
-
Kopier utdataene og lagre dem som robots.txt i rotmappen til nettstedet ditt.
Keywords: robots.txt generator, robots.txt fil, blokkere krypsøkere, blokkere bots, SEO roboter, sitemap roboter, webcrawlerregler