robots.txt 빌더 완벽 가이드
robots.txt는 검색엔진 크롤러에게 사이트의 어떤 영역을 크롤링해도 되는지/안 되는지 알리는 사이트 루트의 일반 텍스트 파일입니다. https://example.com/robots.txt 위치에 위치해야 하며, 파일이 없거나 200 응답이 아니면 크롤러는 "모두 허용"으로 해석합니다. RFC 9309(2022)가 정식 표준으로 발행되어 Google, Bing, Yandex 등 주요 엔진은 모두 호환 구현을 사용합니다.
기본 문법
- User-agent: 적용 대상 크롤러. * 는 명시되지 않은 모든 크롤러.
- Disallow: 차단할 경로 접두사. 빈 값은 "차단 없음" 의미.
- Allow: Disallow 안에서 예외적으로 허용할 경로(Google/Bing 등 지원).
- Sitemap: 절대 URL의 사이트맵 위치(그룹과 무관, 파일 전역).
- Crawl-delay: 요청 간 초 단위 지연(Bing/Yandex 등 일부 지원, Googlebot은 미지원 — Search Console로 조절).
- 와일드카드 * 와 경로 끝 $ 는 비표준이지만 사실상 표준 — 주요 엔진 모두 해석합니다.
매칭 규칙(RFC 9309)
같은 경로에 Allow와 Disallow가 모두 매칭될 때는 "더 구체적인(긴) 패턴"이 우선합니다. 길이가 같으면 Allow가 이깁니다. User-agent 그룹 매칭은 가장 구체적인 user-agent 한 그룹만 적용됩니다 — 즉 Googlebot 그룹과 * 그룹이 모두 있고 Googlebot 가 접근하면 * 그룹은 무시됩니다. 따라서 공통 차단을 Googlebot 그룹에 재선언해야 합니다. 본 도구의 검증기는 이 동작을 흉내 내어 경로 테스트 결과를 보여줍니다.
흔한 실수
(1) 사이트 전체를 막아두고 잊는 사고 — 개발 단계의 Disallow: / 가 운영으로 새는 경우. (2) Allow/Disallow에 절대 URL을 쓰는 실수 — 경로만 적어야 합니다. (3) noindex 를 robots.txt 에 적는 실수 — 표준이 아니고 Google은 2019년부터 무시합니다. 색인 차단은 meta robots 또는 X-Robots-Tag 헤더로 합니다. (4) 사이트맵을 robots.txt 에 등록하지 않는 것 — Search Console과 별개로 robots.txt 의 Sitemap 라인은 자동 발견에 필수입니다.
자주 묻는 질문 (FAQ)
Q. robots.txt 로 페이지를 비공개로 만들 수 있나요?
A. 아니요. 크롤링은 막지만 다른 사이트에서 링크되면 URL 자체는 색인될 수 있습니다. 진정한 비공개는 인증 또는 noindex 헤더가 필요합니다.
Q. 사이트맵을 여러 개 등록해도 되나요?
A. 네. 줄마다 Sitemap: 한 개씩 여러 줄 등록 가능합니다. 사이트맵 인덱스(sitemap index)로 묶는 방법도 권장됩니다.
Q. Crawl-delay 가 동작하지 않습니다.
A. Googlebot 은 Crawl-delay 를 무시합니다. Bing/Yandex/Naver 등 일부에서만 동작하며, Google은 Search Console의 크롤링 속도 설정으로 조절합니다.