Kizalishi cha Robots.txt
robots.txt ni nini?
robots.txt ni faili ya maandishi iliyowekwa kwenye mzizi wa tovuti yako (mfano https://example.com/robots.txt) ambayo inawaambia watambazaji wa wavuti kurasa au sehemu ambazo wanaweza au hawawezi kufikia. Ni sehemu ya Robots Exclusion Protocol. Ingawa boti za injini za utafutaji kwa kawaida zinaheshimu hilo, boti hasidi zinaweza kupuuza. Tumia kuizuia kurasa nakala, maeneo ya usimamizi, na sehemu za kibinafsi zisiandamwe.
Jinsi ya Kutumia Kizalishi cha Robots.txt
-
Chagua mpangilio uliowekwa tayari au anza kutoka mwanzo kwa kubofya '+ Ongeza sheria'.
-
Weka sehemu ya User-agent ili kulenga bot maalum (tumia * kwa boti zote).
-
Ongeza njia za Disallow kwa kurasa ambazo hutaki zitambuliwe, na njia za Allow kwa vighairi.
-
Kwa hiari weka Crawl-delay (kwa sekunde) kupunguza kasi ya watambazaji wakali.
-
Ongeza URL ya ramani yako ya tovuti chini.
-
Nakili matokeo na uhifadhi kama robots.txt katika saraka kuu ya tovuti yako.
Maswali Yanayoulizwa Mara Kwa Mara
Je, ni salama kufungua msimbo wa data nyingi hapa? Ndio. Kufungua msimbo zote hutokea katika kivinjari chako kwa kutumia JavaScript. Hakuna data inayotumwa kwa seva yoyote, kwa hivyo kamba zako zilizosimbwa zinabaki kuwa siri kabisa.
Kuna tofauti gani kati ya Base64 na Base64 salama ya URL? Base64 ya kawaida inatumia herufi + na /, ambazo ni herufi maalum katika URLs. Base64 salama ya URL inabadilisha hizi na - na _ ili kamba iweze kutumika salama katika URLs na majina ya faili bila percent-encoding.
Kwa nini matokeo yangu yaliyofunguliwa inaonekana kama maneno yasiyoeleweka? Ikiwa data ya asili ilikuwa ya binary (kama picha, PDF, au faili iliyosikitizwa), matokeo yaliyofunguliwa hayatakuwa nakala inayosomeka. Katika kesi hiyo, kamba ya Base64 inawakilisha faili la binary, sio kamba ya nakala.
Je, Base64 ni aina ya encryption? Hapana. Base64 ni mpango wa kuweka msimbo, sio encryption. Kila mtu anaweza kufungua kamba ya Base64 bila funguo. Isingatiwe kamwe kutumika kulinda data — tumia encryption sahihi kwa hilo.
Keywords: kizalishi robots.txt, faili robots.txt, zuia watambazaji, zuia boti, roboti za SEO, roboti za sitemap, sheria za mtambazaji wa wavuti