Robots.txt Generaator
Mis on robots.txt?
robots.txt on tekstifail, mis asub teie veebisaidi juurkaustas (nt https://example.com/robots.txt) ja ütleb veebirobotitele, millistele lehtedele või jaotistele nad pääsevad või ei pääse. See on osa Robots Exclusion Protocol'ist. Kuigi otsingumootorite robotid järgivad seda üldiselt, võivad pahatahtlikud robotid seda ignoreerida. Kasutage seda duplikaatlehtede, administraatori alade ja privaatsete jaotiste roomamisest blokeerimiseks.
Kuidas kasutada Robots.txt Generaatorit
-
Valige eelseadistus või alustage tühja lehega, klõpsates '+ Lisa reegel'.
-
Määrake User-agent väli konkreetse boti sihtimiseks (kasutage * kõigi botide jaoks).
-
Lisage Disallow teed lehtedele, mida ei soovita roomata, ja Allow teed eranditeks.
-
Soovi korral määrake Crawl-delay (sekundites) agressiivsete roomajate aeglustamiseks.
-
Lisage allosas oma saidikaardi URL.
-
Kopeerige väljund ja salvestage see robots.txt failina oma veebisaidi juurkaustas.
Sageli Esitatud Küsimused
Kas on turvaline tundlikke andmeid siin dekodeerida? Jah. Kogu dekodeerimine toimub teie brauseris JavaScripti abil. Andmeid ühele serverile ei saadeta, nii et teie kodeeritud stringid jäävad täiesti privaatseks.
Mis on erinevus Base64 ja URL-safe Base64 vahel? Standard Base64 kasutab + ja / märke, mis on URL-ides spetsiaalsed märgid. URL-safe Base64 asendab need - ja _ märkidega, nii et stringi saab URL-ides ja failinimedes ohutult kasutada ilma protsendi-kodeerimiseta.
Miks näeb minu dekodeeritud väljund segane välja? Kui algandmed olid binaarsed (näiteks pilt, PDF või pakitud fail), siis dekodeeritud väljund ei ole loetav tekst. Sel juhul esindab Base64 string binaaarset faili, mitte tekstistringi.
Kas Base64 on krüptimise vorm? Ei. Base64 on kodeerimiskava, mitte krüptimine. Igaüks saab Base64 stringi lahti kodeerida ilma võtmeta. Seda ei tohiks kunagi kasutada tundlike andmete kaitseks — kasutage selle jaoks korralikku krüptimist.
Keywords: robots.txt generaator, robots.txt fail, blokeeri roomajad, blokeeri botid, SEO robotid, sitemap robotid, veebiroomaja reeglid