Robots.txt-generaattori

Sitemap URL (valinnainen)

Luotu robots.txt

Mikä on robots.txt?

robots.txt on tekstiedostona verkkosivustosi juuressa (esim. https://example.com/robots.txt), joka kertoo verkkoroboteille, mihin sivuihin tai osioihin ne voivat tai eivät voi päästä. Se on osa Robots Exclusion Protocol -protokollaa. Vaikka hakukonebotit yleensä noudattavat sitä, haitalliset botit voivat jättää sen huomiotta. Käytä sitä estämään kaksoiskappaleet, hallinta-alueet ja yksityiset osiot indeksoinnilta.

Robots.txt-generaattorin käyttöohjeet

Valitse esiasetus tai aloita tyhjästä napsauttamalla '+ Lisää sääntö'.
Aseta User-agent-kenttä kohdistamaan tiettyyn bottiin (käytä * kaikille boteille).
Lisää Disallow-polkuja sivuille, joita et halua indeksoitavan, ja Allow-polkuja poikkeuksille.
Aseta valinnaisesti Crawl-delay (sekunteina) aggressiivisten indeksointirobottien hidastamiseksi.
Lisää sivustokartasi URL alareunaan.
Kopioi tulos ja tallenna se robots.txt-tiedostona verkkosivustosi juurihakemistoon.

Keywords: robots.txt-generaattori, robots.txt-tiedosto, estä robotit, estä botit, SEO-robotit, sitemap-robotit, verkkorobottisäännöt