Robots.txt ಜನರೇಟರ್
robots.txt ಎಂದರೇನು?
robots.txt ಎಂಬುದು ನಿಮ್ಮ ವೆಬ್ಸೈಟ್ನ ರೂಟ್ನಲ್ಲಿ (ಉದಾ. https://example.com/robots.txt) ಇರಿಸಲಾದ ಪಠ್ಯ ಫೈಲ್ ಆಗಿದ್ದು, ವೆಬ್ ಕ್ರಾಲರ್ಗಳಿಗೆ ಯಾವ ಪುಟಗಳು ಅಥವಾ ವಿಭಾಗಗಳಿಗೆ ಪ್ರವೇಶ ಮಾಡಬಹುದು ಅಥವಾ ಮಾಡಬಾರದು ಎಂಬುದನ್ನು ತಿಳಿಸುತ್ತದೆ. ಇದು Robots Exclusion Protocol ನ ಭಾಗವಾಗಿದೆ. ಹುಡುಕಾಟ ಇಂಜಿನ್ ಬಾಟ್ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಇದನ್ನು ಗೌರವಿಸುತ್ತವೆ, ಆದರೆ ದುರುದ್ದೇಶಪೂರಿತ ಬಾಟ್ಗಳು ಇದನ್ನು ನಿರ್ಲಕ್ಷಿಸಬಹುದು. ನಕಲಿ ಪುಟಗಳು, ಆಡಳಿತ ಪ್ರದೇಶಗಳು ಮತ್ತು ಖಾಸಗಿ ವಿಭಾಗಗಳನ್ನು ಕ್ರಾಲ್ ಆಗದಂತೆ ತಡೆಯಲು ಇದನ್ನು ಬಳಸಿ.
Robots.txt ಜನರೇಟರ್ ಅನ್ನು ಹೇಗೆ ಬಳಸುವುದು
-
ಒಂದು ಪ್ರಿಸೆಟ್ ಆಯ್ಕೆ ಮಾಡಿ ಅಥವಾ '+ ನಿಯಮ ಸೇರಿಸಿ' ಕ್ಲಿಕ್ ಮಾಡಿ ಶೂನ್ಯದಿಂದ ಪ್ರಾರಂಭಿಸಿ.
-
ನಿರ್ದಿಷ್ಟ ಬಾಟ್ ಗುರಿ ಮಾಡಲು User-agent ಕ್ಷೇತ್ರ ಹೊಂದಿಸಿ (ಎಲ್ಲಾ ಬಾಟ್ಗಳಿಗೆ * ಬಳಸಿ).
-
ಕ್ರಾಲ್ ಮಾಡಬೇಡ ಎನ್ನುವ ಪುಟಗಳಿಗೆ Disallow ಮಾರ್ಗಗಳನ್ನು ಮತ್ತು ವಿನಾಯಿತಿಗಳಿಗೆ Allow ಮಾರ್ಗಗಳನ್ನು ಸೇರಿಸಿ.
-
ಆಕ್ರಮಣಕಾರಿ ಕ್ರಾಲರ್ಗಳನ್ನು ನಿಧಾನಗೊಳಿಸಲು ಐಚ್ಛಿಕವಾಗಿ Crawl-delay (ಸೆಕೆಂಡ್ಗಳಲ್ಲಿ) ಹೊಂದಿಸಿ.
-
ಕೆಳಭಾಗದಲ್ಲಿ ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ URL ಸೇರಿಸಿ.
-
ಔಟ್ಪುಟ್ ನಕಲಿಸಿ ಮತ್ತು ನಿಮ್ಮ ವೆಬ್ಸೈಟ್ ರೂಟ್ ಡೈರೆಕ್ಟರಿಯಲ್ಲಿ robots.txt ಆಗಿ ಉಳಿಸಿ.
Keywords: robots.txt ಜನರೇಟರ್, robots.txt ಫೈಲ್, ಕ್ರಾಲರ್ ತಡೆ, ಬಾಟ್ ತಡೆ, SEO ರೋಬೋಟ್, sitemap ರೋಬೋಟ್, ವೆಬ್ ಕ್ರಾಲರ್ ನಿಯಮಗಳು