---

robots.txt ಎಂದರೇನು?

robots.txt ಎಂಬುದು ನಿಮ್ಮ ವೆಬ್‌ಸೈಟ್‌ನ ರೂಟ್‌ನಲ್ಲಿ (ಉದಾ. https://example.com/robots.txt) ಇರಿಸಲಾದ ಪಠ್ಯ ಫೈಲ್ ಆಗಿದ್ದು, ವೆಬ್ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಯಾವ ಪುಟಗಳು ಅಥವಾ ವಿಭಾಗಗಳಿಗೆ ಪ್ರವೇಶ ಮಾಡಬಹುದು ಅಥವಾ ಮಾಡಬಾರದು ಎಂಬುದನ್ನು ತಿಳಿಸುತ್ತದೆ. ಇದು Robots Exclusion Protocol ನ ಭಾಗವಾಗಿದೆ. ಹುಡುಕಾಟ ಇಂಜಿನ್ ಬಾಟ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಇದನ್ನು ಗೌರವಿಸುತ್ತವೆ, ಆದರೆ ದುರುದ್ದೇಶಪೂರಿತ ಬಾಟ್‌ಗಳು ಇದನ್ನು ನಿರ್ಲಕ್ಷಿಸಬಹುದು. ನಕಲಿ ಪುಟಗಳು, ಆಡಳಿತ ಪ್ರದೇಶಗಳು ಮತ್ತು ಖಾಸಗಿ ವಿಭಾಗಗಳನ್ನು ಕ್ರಾಲ್ ಆಗದಂತೆ ತಡೆಯಲು ಇದನ್ನು ಬಳಸಿ.

Robots.txt ಜನರೇಟರ್ ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು

1. ಒಂದು ಪ್ರಿಸೆಟ್ ಆಯ್ಕೆ ಮಾಡಿ ಅಥವಾ '+ ನಿಯಮ ಸೇರಿಸಿ' ಕ್ಲಿಕ್ ಮಾಡಿ ಶೂನ್ಯದಿಂದ ಪ್ರಾರಂಭಿಸಿ.

2. ನಿರ್ದಿಷ್ಟ ಬಾಟ್ ಗುರಿ ಮಾಡಲು User-agent ಕ್ಷೇತ್ರ ಹೊಂದಿಸಿ (ಎಲ್ಲಾ ಬಾಟ್‌ಗಳಿಗೆ * ಬಳಸಿ).

3. ಕ್ರಾಲ್ ಮಾಡಬೇಡ ಎನ್ನುವ ಪುಟಗಳಿಗೆ Disallow ಮಾರ್ಗಗಳನ್ನು ಮತ್ತು ವಿನಾಯಿತಿಗಳಿಗೆ Allow ಮಾರ್ಗಗಳನ್ನು ಸೇರಿಸಿ.

4. ಆಕ್ರಮಣಕಾರಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು ನಿಧಾನಗೊಳಿಸಲು ಐಚ್ಛಿಕವಾಗಿ Crawl-delay (ಸೆಕೆಂಡ್‌ಗಳಲ್ಲಿ) ಹೊಂದಿಸಿ.

5. ಕೆಳಭಾಗದಲ್ಲಿ ನಿಮ್ಮ ಸೈಟ್‌ಮ್ಯಾಪ್ URL ಸೇರಿಸಿ.

6. ಔಟ್‌ಪುಟ್ ನಕಲಿಸಿ ಮತ್ತು ನಿಮ್ಮ ವೆಬ್‌ಸೈಟ್ ರೂಟ್ ಡೈರೆಕ್ಟರಿಯಲ್ಲಿ robots.txt ಆಗಿ ಉಳಿಸಿ.

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

ಇಲ್ಲಿ ಸೂಕ್ಷ್ಮ ಡೇಟಾವನ್ನು ಡಿಕೋಡ್ ಮಾಡುವುದು ಸುರಕ್ಷಿತವೇ? ಹೌದು. ಎಲ್ಲಾ ಡಿಕೋಡಿಂಗ್ ನಿಮ್ಮ ಬ್ರೌಜರ್‌ನಲ್ಲಿ JavaScript ಬಳಸಿ ನಡೆಯುತ್ತದೆ. ಯಾವುದೇ ಡೇಟಾ ಸರ್ವರಿಗೆ ರವಾನೆ ಆಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ಎನ್‌ಕೋಡ್ ಮಾಡಿದ ಸ್ಟ್ರಿಂಗ್‌ಗಳು ಸಂಪೂರ್ಣವಾಗಿ ಖಾಸಗಿ ಉಳಿಯುತ್ತವೆ.

Base64 ಮತ್ತು URL-safe Base64 ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು? ಪ್ರಮಾಣಿತ Base64 + ಮತ್ತು / ಅಕ್ಷರಗಳನ್ನು ಬಳಸುತ್ತದೆ, ಇವು URL ಗಳಲ್ಲಿ ವಿಶೇಷ ಅಕ್ಷರಗಳು. URL-safe Base64 ಅವುಗಳನ್ನು - ಮತ್ತು _ ಬದಲಿಸುತ್ತದೆ, ಇದರಿಂದ ಸ್ಟ್ರಿಂಗ್ ಪ್ರತಿಶತ-ಇನ್‌ಕೋಡಿಂಗ್ ಇಲ್ಲದೆ URL ಮತ್ತು ಫೈಲ್‌ನೆಮ್‌ಗಳಲ್ಲಿ ಸುರಕ್ಷಿತವಾಗಿ ಬಳಸಬಹುದು.

ನನ್ನ ಡಿಕೋಡ್ ಮಾಡಿದ ಔಟ್‌ಪುಟ್ ಏಕೆ ವಿಸ್ಮಯಸ್ಥಾನಕದಂತೆ ತೋರುತ್ತಿದೆ? ಮೂಲ ಡೇಟಾ ಬೈನರಿ ಆಗಿದ್ದರೆ (ಚಿತ್ರ, PDF, ಅಥವಾ ಸಂಕುಚಿತ ಫೈಲ್ ಮುಂತಾದ), ಡಿಕೋಡ್ ಮಾಡಿದ ಔಟ್‌ಪುಟ್ ಓದಬಹುದಾದ ಪಠ್ಯ ಆಗುವುದಿಲ್ಲ. ಅಂತಹ ಸಂದರ್ಭದಲ್ಲಿ, Base64 ಸ್ಟ್ರಿಂಗ್ ಬೈನರಿ ಫೈಲ್ ಪ್ರತಿನಿಧಿಸುತ್ತದೆ, ಪಠ್ಯ ಸ್ಟ್ರಿಂಗ್ ಅಲ್ಲ.

Base64 ಎನ್ನುವುದು ಎನ್‌ಕ್ರಿಪ್ಶನ್‌ನ ಒಂದು ರೂಪವೇ? ಇಲ್ಲ. Base64 ಎನ್ನುವುದು ಎನ್‌ಕೋಡಿಂಗ್ ಯೋಜನೆ, ಎನ್‌ಕ್ರಿಪ್ಶನ್ ಅಲ್ಲ. ಯಾರಾದರೂ ಕೀ ಇಲ್ಲದೆ Base64 ಸ್ಟ್ರಿಂಗ್ ಡಿಕೋಡ್ ಮಾಡಬಹುದು. ಇದನ್ನು ಎಂದಿಗೂ ಸೂಕ್ಷ್ಮ ಡೇಟಾವನ್ನು ರಕ್ಷಿಸಲು ಬಳಸಬಾರದು — ಆ ಉದ್ದೇಶಕ್ಕೆ ಸರಿಯಾದ ಎನ್‌ಕ್ರಿಪ್ಶನ್ ಬಳಸಿ.

Keywords: robots.txt ಜನರೇಟರ್, robots.txt ಫೈಲ್, ಕ್ರಾಲರ್ ತಡೆ, ಬಾಟ್ ತಡೆ, SEO ರೋಬೋಟ್, sitemap ರೋಬೋಟ್, ವೆಬ್ ಕ್ರಾಲರ್ ನಿಯಮಗಳು