Robots.txt 생성기
robots.txt란?
robots.txt는 웹사이트 루트(예: https://example.com/robots.txt)에 배치된 텍스트 파일로, 웹 크롤러에게 접근 가능하거나 불가능한 페이지 또는 섹션을 알려줍니다. Robots Exclusion Protocol의 일부입니다. 검색 엔진 봇은 일반적으로 이를 준수하지만, 악성 봇은 무시할 수 있습니다. 중복 페이지, 관리자 영역, 비공개 섹션의 크롤링을 차단하는 데 사용하세요.
Robots.txt 생성기 사용 방법
-
프리셋을 선택하거나 '+ 규칙 추가'를 클릭하여 처음부터 시작하세요.
-
특정 봇을 대상으로 하려면 User-agent 필드를 설정하세요 (모든 봇에는 * 사용).
-
크롤링하지 않을 페이지에 Disallow 경로를 추가하고, 예외에는 Allow 경로를 추가하세요.
-
공격적인 크롤러를 늦추려면 선택적으로 Crawl-delay (초 단위)를 설정하세요.
-
하단에 사이트맵 URL을 추가하세요.
-
출력을 복사하여 웹사이트의 루트 디렉터리에 robots.txt로 저장하세요.
Keywords: robots.txt 생성기, robots.txt 파일, 크롤러 차단, 봇 차단, SEO 로봇, 사이트맵 로봇, 웹 크롤러 규칙