Robots.txt 생성기
직관적인 비주얼 빌더로 robots.txt 파일을 생성, 테스트, 다운로드하세요. AI 봇 차단, 크롤 딜레이 설정, 설정 검증을 즉시 수행합니다.
프리셋
User-Agent #1
robots.txt 미리보기
User-agent: * Allow: /
✅ 문제가 없습니다. robots.txt가 올바릅니다!
URL 테스트
robots.txt가 하는 일과 흔한 오해
robots.txt의 역할 (RFC 9309)
사이트 루트의 `robots.txt`는 크롤러에게 어디를 크롤링하지 말라고 요청하는 파일입니다. 서버 부하 관리와 불필요한 영역(관리자 페이지, 검색 결과 페이지 등) 차단에 씁니다.
가장 흔한 오해: 차단 ≠ 색인 제거
robots.txt로 차단해도 다른 사이트가 링크하면 URL이 검색 결과에 나올 수 있습니다. 색인에서 빼려면 `noindex` 메타 태그를 써야 하고, 이때 robots.txt로 차단하면 안 됩니다 — 차단하면 크롤러가 noindex를 읽을 수 없기 때문입니다.
실무 체크리스트
- `Disallow: /` 한 줄이 사이트 전체를 차단합니다. 스테이징 설정이 운영에 배포되는 사고가 실제로 흔합니다.
- `Sitemap:` 줄로 사이트맵 위치를 알려주세요.
- AI 크롤러(GPTBot 등) 차단 여부는 선택의 문제입니다 — 차단하면 AI 검색에서 인용될 기회도 사라집니다.
자주 묻는 질문
관련 도구
근거 자료 및 출처
콘텐츠 최종 검토: 2026-08-22