Kizalishi cha Robots.txt
robots.txt ni nini?
robots.txt ni faili ya maandishi iliyowekwa kwenye mzizi wa tovuti yako (mfano https://example.com/robots.txt) ambayo inawaambia watambazaji wa wavuti kurasa au sehemu ambazo wanaweza au hawawezi kufikia. Ni sehemu ya Robots Exclusion Protocol. Ingawa boti za injini za utafutaji kwa kawaida zinaheshimu hilo, boti hasidi zinaweza kupuuza. Tumia kuizuia kurasa nakala, maeneo ya usimamizi, na sehemu za kibinafsi zisiandamwe.
Jinsi ya Kutumia Kizalishi cha Robots.txt
-
Chagua mpangilio uliowekwa tayari au anza kutoka mwanzo kwa kubofya '+ Ongeza sheria'.
-
Weka sehemu ya User-agent ili kulenga bot maalum (tumia * kwa boti zote).
-
Ongeza njia za Disallow kwa kurasa ambazo hutaki zitambuliwe, na njia za Allow kwa vighairi.
-
Kwa hiari weka Crawl-delay (kwa sekunde) kupunguza kasi ya watambazaji wakali.
-
Ongeza URL ya ramani yako ya tovuti chini.
-
Nakili matokeo na uhifadhi kama robots.txt katika saraka kuu ya tovuti yako.
Keywords: kizalishi robots.txt, faili robots.txt, zuia watambazaji, zuia boti, roboti za SEO, roboti za sitemap, sheria za mtambazaji wa wavuti