---

robots.txt คืออะไร?

robots.txt คือไฟล์ข้อความที่วางไว้ที่รากของเว็บไซต์ของคุณ (เช่น https://example.com/robots.txt) ซึ่งแจ้งให้ตัวรวบรวมข้อมูลเว็บทราบว่าสามารถหรือไม่สามารถเข้าถึงหน้าหรือส่วนใดได้บ้าง เป็นส่วนหนึ่งของ Robots Exclusion Protocol แม้ว่าบอตของเสิร์ชเอนจินส่วนใหญ่จะปฏิบัติตาม แต่บอตที่ประสงค์ร้ายอาจเพิกเฉยได้ ใช้เพื่อบล็อกการรวบรวมข้อมูลหน้าที่ซ้ำกัน พื้นที่ผู้ดูแลระบบ และส่วนส่วนตัว

วิธีใช้เครื่องมือสร้าง Robots.txt

1. เลือกค่าที่กำหนดไว้ล่วงหน้าหรือเริ่มตั้งแต่ต้นโดยคลิก '+ เพิ่มกฎ'

2. ตั้งค่าช่อง User-agent เพื่อกำหนดเป้าหมายเฉพาะบอต (ใช้ * สำหรับบอตทั้งหมด)

3. เพิ่มเส้นทาง Disallow สำหรับหน้าที่ไม่ต้องการรวบรวมข้อมูล และเส้นทาง Allow สำหรับข้อยกเว้น

4. เลือกตั้งค่า Crawl-delay (หน่วยเป็นวินาที) เพื่อชะลอตัวรวบรวมข้อมูลที่รุนแรง

5. เพิ่ม URL แผนผังเว็บไซต์ที่ด้านล่าง

6. คัดลอกผลลัพธ์และบันทึกเป็น robots.txt ในไดเรกทอรีรากของเว็บไซต์ของคุณ

คำถามที่พบบ่อย

ปลอดภัยไหมที่จะถอดรหัสข้อมูลที่ละเอียดอ่อนที่นี่ ใช่ การถอดรหัสทั้งหมดเกิดขึ้นในเบราว์เซอร์ของคุณโดยใช้ JavaScript ไม่มีข้อมูลถูกส่งไปยังเซิร์ฟเวอร์ใดๆ ดังนั้นสตริงที่เข้ารหัสของคุณจึงยังคงเป็นข้อมูลส่วนตัวโดยสิ้นเชิง

ความแตกต่างระหว่าง Base64 และ URL-safe Base64 คืออะไร Base64 มาตรฐานใช้อักขระ + และ / ซึ่งเป็นอักขระพิเศษใน URL URL-safe Base64 แทนที่อักขระเหล่านี้ด้วย - และ _ เพื่อให้สตริงนี้สามารถใช้ได้อย่างปลอดภัยใน URL และชื่อไฟล์โดยไม่ต้อง percent-encoding

ทำไมผลลัพธ์ที่ถอดรหัสของฉันจึงดูเหมือนข้อความไร้สาระ หากข้อมูลดั้งเดิมเป็นข้อมูลไบนารี (เช่น รูปภาพ PDF หรือไฟล์ที่ถูกบีบอัด) ผลลัพธ์ที่ถอดรหัสจะไม่ใช่ข้อความที่อ่านได้ ในกรณีนั้น สตริง Base64 แทนไฟล์ไบนารี ไม่ใช่สตริงข้อความ

Base64 เป็นรูปแบบของการเข้ารหัส (encryption) หรือไม่ ไม่ Base64 เป็นโครงร่างการเข้ารหัส (encoding) ไม่ใช่การเข้ารหัส (encryption) ใครก็ตามสามารถถอดรหัสสตริง Base64 ได้โดยไม่ต้องใช้กุญแจ ไม่ควรใช้เพื่อปกป้องข้อมูลที่ละเอียดอ่อน — ใช้การเข้ารหัสที่เหมาะสม

Keywords: เครื่องมือสร้าง robots.txt, ไฟล์ robots.txt, บล็อกตัวรวบรวมข้อมูล, บล็อกบอต, โรบอต SEO, โรบอต sitemap, กฎตัวรวบรวมข้อมูลเว็บ