Robots.txt 생성기
robots.txt란?
robots.txt는 웹사이트 루트(예: https://example.com/robots.txt)에 배치된 텍스트 파일로, 웹 크롤러에게 접근 가능하거나 불가능한 페이지 또는 섹션을 알려줍니다. Robots Exclusion Protocol의 일부입니다. 검색 엔진 봇은 일반적으로 이를 준수하지만, 악성 봇은 무시할 수 있습니다. 중복 페이지, 관리자 영역, 비공개 섹션의 크롤링을 차단하는 데 사용하세요.
Robots.txt 생성기 사용 방법
-
프리셋을 선택하거나 '+ 규칙 추가'를 클릭하여 처음부터 시작하세요.
-
특정 봇을 대상으로 하려면 User-agent 필드를 설정하세요 (모든 봇에는 * 사용).
-
크롤링하지 않을 페이지에 Disallow 경로를 추가하고, 예외에는 Allow 경로를 추가하세요.
-
공격적인 크롤러를 늦추려면 선택적으로 Crawl-delay (초 단위)를 설정하세요.
-
하단에 사이트맵 URL을 추가하세요.
-
출력을 복사하여 웹사이트의 루트 디렉터리에 robots.txt로 저장하세요.
자주 묻는 질문
여기서 민감한 데이터를 디코딩하는 것이 안전한가요? 네. 모든 디코딩은 브라우저에서 JavaScript를 사용하여 수행됩니다. 어떤 데이터도 서버로 전송되지 않으므로 인코딩된 문자열은 완전히 비공개로 유지됩니다.
Base64와 URL-safe Base64의 차이점은 무엇인가요? 표준 Base64는 URL의 특수 문자인 +와 / 문자를 사용합니다. URL-safe Base64는 이들을 -와 _로 바꾸어 문자열을 URL과 파일명에서 percent-encoding 없이 안전하게 사용할 수 있습니다.
내 디코딩된 결과가 왜 이상한 문자처럼 보이나요? 원본 데이터가 이진 형식(이미지, PDF 또는 압축 파일 등)인 경우, 디코딩된 결과는 읽을 수 있는 텍스트가 아닙니다. 이 경우 Base64 문자열은 텍스트 문자열이 아닌 이진 파일을 나타냅니다.
Base64는 암호화의 한 형태인가요? 아니요. Base64는 암호화가 아닌 인코딩 방식입니다. 누구나 키 없이 Base64 문자열을 디코딩할 수 있습니다. 민감한 데이터를 보호하기 위해 사용되어서는 안 됩니다 — 그 목적으로는 적절한 암호화를 사용하세요.
Keywords: robots.txt 생성기, robots.txt 파일, 크롤러 차단, 봇 차단, SEO 로봇, 사이트맵 로봇, 웹 크롤러 규칙