Robots.txt Generaator

Sitemap URL (valikuline)

Genereeritud robots.txt

Mis on robots.txt?

robots.txt on tekstifail, mis asub teie veebisaidi juurkaustas (nt https://example.com/robots.txt) ja ütleb veebirobotitele, millistele lehtedele või jaotistele nad pääsevad või ei pääse. See on osa Robots Exclusion Protocol'ist. Kuigi otsingumootorite robotid järgivad seda üldiselt, võivad pahatahtlikud robotid seda ignoreerida. Kasutage seda duplikaatlehtede, administraatori alade ja privaatsete jaotiste roomamisest blokeerimiseks.

Kuidas kasutada Robots.txt Generaatorit

Valige eelseadistus või alustage tühja lehega, klõpsates '+ Lisa reegel'.
Määrake User-agent väli konkreetse boti sihtimiseks (kasutage * kõigi botide jaoks).
Lisage Disallow teed lehtedele, mida ei soovita roomata, ja Allow teed eranditeks.
Soovi korral määrake Crawl-delay (sekundites) agressiivsete roomajate aeglustamiseks.
Lisage allosas oma saidikaardi URL.
Kopeerige väljund ja salvestage see robots.txt failina oma veebisaidi juurkaustas.

Keywords: robots.txt generaator, robots.txt fail, blokeeri roomajad, blokeeri botid, SEO robotid, sitemap robotid, veebiroomaja reeglid