---

robots.txt అంటే ఏమిటి?

robots.txt అనేది మీ వెబ్‌సైట్ రూట్‌లో (ఉదా. https://example.com/robots.txt) ఉంచబడిన ఒక టెక్స్ట్ ఫైల్, ఇది వెబ్ క్రాలర్‌లకు ఏ పేజీలు లేదా విభాగాలను యాక్సెస్ చేయవచ్చు లేదా చేయలేరు అని తెలియజేస్తుంది. ఇది Robots Exclusion Protocol లో భాగం. సెర్చ్ ఇంజిన్ బాట్‌లు సాధారణంగా దీన్ని పాటిస్తాయి, కానీ హానికరమైన బాట్‌లు దీన్ని విస్మరించవచ్చు. డూప్లికేట్ పేజీలు, అడ్మిన్ ప్రాంతాలు మరియు ప్రైవేట్ విభాగాలను క్రాల్ నుండి నిరోధించడానికి దీన్ని ఉపయోగించండి.

Robots.txt జెనరేటర్‌ను ఎలా ఉపయోగించాలి

1. ప్రీసెట్ ఎంచుకోండి లేదా '+ నిబంధన జోడించండి' క్లిక్ చేసి మొదటి నుండి ప్రారంభించండి.

2. నిర్దిష్ట బాట్‌ను లక్ష్యంగా చేసుకోవడానికి User-agent ఫీల్డ్ సెట్ చేయండి (అన్ని బాట్‌లకు * ఉపయోగించండి).

3. క్రాల్ చేయని పేజీలకు Disallow మార్గాలు మరియు మినహాయింపులకు Allow మార్గాలు జోడించండి.

4. దూకుడు క్రాలర్‌లను నెమ్మదించడానికి ఐచ్ఛికంగా Crawl-delay (సెకన్లలో) సెట్ చేయండి.

5. దిగువన మీ సైట్‌మ్యాప్ URL జోడించండి.

6. అవుట్‌పుట్ కాపీ చేసి మీ వెబ్‌సైట్ రూట్ డైరెక్టరీలో robots.txt గా సేవ్ చేయండి.

తరచుగా అడిగిన ప్రశ్నలు

ఇక్కడ సెన్సిటివ్ డేటాను డీకోడ్ చేయడం సురక్షితమైనదా? అవును. అన్ని డీకోడింగ్ JavaScript ఉపయోగించి మీ బ్రౌజర్‌లో జరుగుతుంది. ఎటువంటి డేటా సర్వర్‌కు ప్రసారం చేయబడదు, కాబట్టి మీ ఎన్‌కోడ్ చేసిన స్ట్రింగ్‌లు పూర్తిగా ఖాసగీగా ఉంటాయి.

Base64 మరియు URL-safe Base64 మధ్య తేడా ఏమిటి? ప్రామాణిక Base64 + మరియు / చిహ్నాలను ఉపయోగిస్తుంది, ఇవి URLs లో ప్రత్యేక చిహ్నాలు. URL-safe Base64 వాటిని - మరియు _ తో భర్తీ చేస్తుంది, కాబట్టి స్ట్రింగ్‌ను URLs మరియు ఫైల్‌నేమ్‌లలో శాతం-ఎన్‌కోడింగ్ లేకుండా సురక్షితంగా ఉపయోగించవచ్చు.

నా డీకోడ్ చేసిన ఫలితం అర్థంలేని టెక్స్ట్‌లాగా ఎందుకు కనిపిస్తుంది? అసలు డేటా బైనరీ ఉంటే (చిత్రం, PDF, లేదా సంపీడిత ఫైల్ వంటివి), డీకోడ్ చేసిన ఫలితం చదవదగిన టెక్స్ట్ ఉండదు. ఆ సందర్భంలో, Base64 స్ట్రింగ్ బైనరీ ఫైల్‌ను సూచిస్తుంది, టెక్స్ట్ స్ట్రింగ్ కాదు.

Base64 ఎన్‌క్రిప్షన్ యొక్క ఒక రూపమైనదా? లేదు. Base64 ఎన్‌కోడింగ్ పథకం, ఎన్‌క్రిప్షన్ కాదు. ఎవరైనా కీ లేకుండా Base64 స్ట్రింగ్‌ను డీకోడ్ చేయగలరు. సెన్సిటివ్ డేటాను రక్షించడానికి దీనిని ఎప్పుడూ ఉపయోగించకూడదు — దానికి సరైన ఎన్‌క్రిప్షన్‌ను ఉపయోగించండి.

Keywords: robots.txt జెనరేటర్, robots.txt ఫైల్, క్రాలర్ నిరోధణ, బాట్ నిరోధణ, SEO రోబోట్లు, sitemap రోబోట్లు, వెబ్ క్రాలర్ నిబంధనలు