Robots.txt Ģenerators
Kas ir robots.txt?
robots.txt ir teksta fails, kas atrodas jūsu vietnes saknē (piem., https://example.com/robots.txt) un informē tīmekļa rāpuļprogrammas, kurām lapām vai sadaļām tās var vai nevar piekļūt. Tas ir daļa no Robots Exclusion Protocol. Lai gan meklētājprogrammu boti to parasti ievēro, ļaunprātīgi boti var to ignorēt. Izmantojiet to, lai bloķētu dublētu lapu, administrēšanas apgabalu un privāto sadaļu rāpuļprogrammēšanu.
Kā lietot Robots.txt Ģeneratoru
-
Izvēlieties iepriekš iestatītu konfigurāciju vai sāciet no nulles, noklikšķinot uz '+ Pievienot noteikumu'.
-
Iestatiet User-agent lauku, lai mērķētu konkrētu botu (izmantojiet * visiem botiem).
-
Pievienojiet Disallow ceļus lapām, kuras nevēlaties rāpuļprogrammēt, un Allow ceļus izņēmumiem.
-
Pēc izvēles iestatiet Crawl-delay (sekundēs), lai palēninātu agresīvas rāpuļprogrammas.
-
Apakšā pievienojiet savu vietnes kartes URL.
-
Kopējiet izvadi un saglabājiet to kā robots.txt savas vietnes saknes direktorijā.
Bieži uzdotie jautājumi
Vai ir droši dekodēt sensitīvus datus šeit? Jā. Visa dekodēšana notiek jūsu pārlūkprogrammā, izmantojot JavaScript. Dati netiek nosūtīti uz nevienu serveri, tāpēc jūsu kodētās virknes paliek pilnīgi privātas.
Kāda ir atšķirība starp Base64 un URL-draudzīgo Base64? Standarta Base64 izmanto + un / rakstzīmes, kas ir īpašas rakstzīmes URL-os. URL-draudzīgais Base64 tās aizstāj ar - un _, lai virkni varētu droši izmantot URL-os un failu nosaukumos bez procentu kodēšanas.
Kāpēc mans dekodētais izvads izskatās nesmacīgs? Ja oriģinālie dati bija bināri (piemēram, attēls, PDF vai saspiests fails), dekodētais izvads nebūs lasāms teksts. Šajā gadījumā Base64 virkne pārstāv bināru failu, nevis teksta virkni.
Vai Base64 ir šifrēšanas forma? Nē. Base64 ir kodēšanas shēma, nevis šifrēšana. Ikviens var dekodēt Base64 virkni bez atslēgas. To nevajadzētu izmantot sensitīvu datu aizsardzībai — tā vietā izmantojiet pareizu šifrēšanu.
Keywords: robots.txt ģenerators, robots.txt fails, bloķēt rāpuļprogrammas, bloķēt botus, SEO roboti, sitemap roboti, tīmekļa rāpuļprogrammas noteikumi