Robots.txt መፍጠሪያ
robots.txt ምንድን ነው?
robots.txt በድረ-ገጽዎ ሥር (ለምሳሌ https://example.com/robots.txt) የሚቀመጥ የጽሑፍ ፋይል ሲሆን ድሮ ክሮለሮች የትኞቹን ገጾች ወይም ክፍሎች ሊደርሱ እንደሚችሉ ወይም እንደማይችሉ ይነግረዋል። እሱ የሮቦቶች Exclusion Protocol አካል ነው። የፍለጋ ሞተር ቦቶች በአጠቃላይ ያከብሩታል፣ ሆኖም ሆን ብለው ጎጂ ቦቶች ሊያወናብዱት ይችላሉ። ተባዥ ገጾችን፣ የአስተዳዳሪ አካባቢዎችን እና የግል ክፍሎችን ከክሮሊንግ ለመከልከል ይጠቀሙበት።
Robots.txt መፍጠሪያን እንዴት ይጠቀሙ
-
አዘጋጅ ይምረጡ ወይም '+ ደንብ ያክሉ' ን ጠቅ በማድረግ ከባዶ ይጀምሩ።
-
ልዩ ቦትን ለማነጣጠር User-agent መስኩን ያሰናዱ (ሁሉም ቦቶች ለ * ይጠቀሙ)።
-
ክሮል ለማይደረጉ ገጾች Disallow ዱካዎችን ያክሉ፣ ለልዩ ሁኔታዎች Allow ዱካዎችን ያክሉ።
-
አጥቂ ክሮለሮችን ለማዘግየት ሁለፈቃደኛ Crawl-delay (በሰኮንዶች) ያሰናዱ።
-
ስር ያለውን የሳይትማፕ URL ያክሉ።
-
ውጤቱን ቅዱ እና በድረ-ገጽዎ ሥር ዳይሬክቶሪ ውስጥ robots.txt ሆኖ ያስቀምጡ።
Keywords: robots.txt መፍጠሪያ፣ robots.txt ፋይል፣ ክሮለሮችን ዝጋ፣ ቦቶችን ዝጋ፣ SEO ሮቦቶች፣ sitemap ሮቦቶች፣ የድር ክሮለር ደንቦች