Robots.txt Generator
Wat is robots.txt?
robots.txt is een tekstbestand dat in de root van uw website staat (bijv. https://example.com/robots.txt) en webcrawlers vertelt welke pagina's of secties ze wel of niet mogen bezoeken. Het maakt deel uit van het Robots Exclusion Protocol. Hoewel zoekmachinebots het over het algemeen respecteren, kunnen kwaadaardige bots het negeren. Gebruik het om dubbele pagina's, beheergebieden en privésecties van crawling te blokkeren.
Hoe de Robots.txt Generator te gebruiken
-
Kies een voorinstelling of begin vanaf nul door op '+ Regel toevoegen' te klikken.
-
Stel het User-agent-veld in om een specifieke bot te targeten (gebruik * voor alle bots).
-
Voeg Disallow-paden toe voor pagina's die u niet wilt laten crawlen, en Allow-paden voor uitzonderingen.
-
Stel optioneel een Crawl-delay (in seconden) in om agressieve crawlers te vertragen.
-
Voeg uw sitemap-URL onderaan toe.
-
Kopieer de uitvoer en sla het op als robots.txt in de rootmap van uw website.
Keywords: robots.txt generator, robots.txt bestand, crawlers blokkeren, bots blokkeren, SEO robots, sitemap robots, webcrawlerregels