เครื่องมือสร้าง Robots.txt
robots.txt คืออะไร?
robots.txt คือไฟล์ข้อความที่วางไว้ที่รากของเว็บไซต์ของคุณ (เช่น https://example.com/robots.txt) ซึ่งแจ้งให้ตัวรวบรวมข้อมูลเว็บทราบว่าสามารถหรือไม่สามารถเข้าถึงหน้าหรือส่วนใดได้บ้าง เป็นส่วนหนึ่งของ Robots Exclusion Protocol แม้ว่าบอตของเสิร์ชเอนจินส่วนใหญ่จะปฏิบัติตาม แต่บอตที่ประสงค์ร้ายอาจเพิกเฉยได้ ใช้เพื่อบล็อกการรวบรวมข้อมูลหน้าที่ซ้ำกัน พื้นที่ผู้ดูแลระบบ และส่วนส่วนตัว
วิธีใช้เครื่องมือสร้าง Robots.txt
-
เลือกค่าที่กำหนดไว้ล่วงหน้าหรือเริ่มตั้งแต่ต้นโดยคลิก '+ เพิ่มกฎ'
-
ตั้งค่าช่อง User-agent เพื่อกำหนดเป้าหมายเฉพาะบอต (ใช้ * สำหรับบอตทั้งหมด)
-
เพิ่มเส้นทาง Disallow สำหรับหน้าที่ไม่ต้องการรวบรวมข้อมูล และเส้นทาง Allow สำหรับข้อยกเว้น
-
เลือกตั้งค่า Crawl-delay (หน่วยเป็นวินาที) เพื่อชะลอตัวรวบรวมข้อมูลที่รุนแรง
-
เพิ่ม URL แผนผังเว็บไซต์ที่ด้านล่าง
-
คัดลอกผลลัพธ์และบันทึกเป็น robots.txt ในไดเรกทอรีรากของเว็บไซต์ของคุณ
Keywords: เครื่องมือสร้าง robots.txt, ไฟล์ robots.txt, บล็อกตัวรวบรวมข้อมูล, บล็อกบอต, โรบอต SEO, โรบอต sitemap, กฎตัวรวบรวมข้อมูลเว็บ