Robots.txt Ģenerators
Kas ir robots.txt?
robots.txt ir teksta fails, kas atrodas jūsu vietnes saknē (piem., https://example.com/robots.txt) un informē tīmekļa rāpuļprogrammas, kurām lapām vai sadaļām tās var vai nevar piekļūt. Tas ir daļa no Robots Exclusion Protocol. Lai gan meklētājprogrammu boti to parasti ievēro, ļaunprātīgi boti var to ignorēt. Izmantojiet to, lai bloķētu dublētu lapu, administrēšanas apgabalu un privāto sadaļu rāpuļprogrammēšanu.
Kā lietot Robots.txt Ģeneratoru
-
Izvēlieties iepriekš iestatītu konfigurāciju vai sāciet no nulles, noklikšķinot uz '+ Pievienot noteikumu'.
-
Iestatiet User-agent lauku, lai mērķētu konkrētu botu (izmantojiet * visiem botiem).
-
Pievienojiet Disallow ceļus lapām, kuras nevēlaties rāpuļprogrammēt, un Allow ceļus izņēmumiem.
-
Pēc izvēles iestatiet Crawl-delay (sekundēs), lai palēninātu agresīvas rāpuļprogrammas.
-
Apakšā pievienojiet savu vietnes kartes URL.
-
Kopējiet izvadi un saglabājiet to kā robots.txt savas vietnes saknes direktorijā.
Keywords: robots.txt ģenerators, robots.txt fails, bloķēt rāpuļprogrammas, bloķēt botus, SEO roboti, sitemap roboti, tīmekļa rāpuļprogrammas noteikumi