Shopify robots.txt 생성기
Shopify 기본 규칙을 유지하면서 원하는 규칙을 추가하는 robots.txt를 생성합니다.
가입 없이 세 단계로 완료.
- 1
규칙 선택
필터 페이지, AI 크롤러 또는 지정 경로를 차단하고 추가 사이트맵을 등록합니다.
- 2
템플릿 복사
Shopify 기본 설정을 유지하면서 추가한 규칙만 반영된 robots.txt.liquid를 받습니다.
- 3
테마에 추가
테마 코드 편집기에서 robots.txt 템플릿을 생성하고 코드를 붙여넣은 뒤 저장합니다.
점검 항목
필터링된 컬렉션 페이지부터 AI 학습용 봇까지 크롤러 차단 대상을 선택하고, 테마에 바로 붙여넣을 수 있는 robots.txt.liquid 코드를 받아보세요. Shopify가 자동 업데이트하는 기본 규칙은 유지하며 사용자 규칙만 깔끔하게 추가합니다. 타 플랫폼 사이트를 위한 일반 robots.txt 버전도 함께 제공됩니다.
- Shopify가 업데이트하는 기본 규칙 유지
- 필터 및 공급업체 컬렉션 URL 차단
- AI 학습 및 AI 검색 크롤러 개별 차단
- 비교를 위한 스토어 현재 robots.txt 불러오기
각 숫자가 의미하는 내용
해석할 수 없는 리포트는 그저 어딘가 잘못되었다는 말을 길게 늘어놓은 것에 불과합니다.
Liquid 템플릿
Shopify는 템플릿을 기반으로 robots.txt를 생성합니다. 기본 그룹을 유지하면 향후 Shopify가 추가하는 규칙이 그대로 반영되며, 그 위에 사용자 규칙이 더해집니다.
모든 크롤러 대상 규칙
모든 크롤러 대상 그룹(User-agent: *)에 Disallow 행이 추가됩니다. 경로에는 와일드카드(*)를 사용할 수 있습니다.
AI 크롤러 그룹
차단된 각 AI 크롤러는 Disallow: / 규칙이 포함된 개별 그룹으로 지정됩니다. 검색용 크롤러 차단 시 AI 답변 노출에서도 제외되므로 학습용과 검색용 크롤러는 구분하여 관리합니다.
현재 파일 확인
스토어의 실제 robots.txt를 불러와 전체 차단 여부, 사이트맵 등록 여부, AI 크롤러 차단 여부 등을 확인할 수 있습니다.
상투적인 조언이 아닌 구체적인 작동 원리
- 01
필터로 인한 페이지 증식
색상, 크기, 가격 등의 조합마다 Google이 크롤링할 새 URL이 생성됩니다. 대규모 카탈로그의 경우 정작 노출되어야 할 핵심 페이지의 크롤링을 방해할 수 있습니다.
- 02
선택 가능한 AI 크롤러
학습용 크롤러는 모델 개발을 위해 제품 문구를 수집하고, 검색 크롤러는 AI 답변을 통해 구매자를 유입시킵니다. robots.txt를 통해 각 크롤러를 직접 선택할 수 있습니다.
- 03
Shopify 파일 수정 시의 위험성
템플릿을 일반 텍스트로 대체하면 Shopify 기본 규칙과 향후 업데이트가 모두 사라집니다. 기존 템플릿에 규칙을 추가하는 방식이 안전합니다.
자주 발견되는 문제와 해결 방법
Shopify 스토어에서 이 도구로 발견되는 문제의 대부분을 차지하는 4가지 원인입니다.
진단 결과
스토어 전체 차단
발생 원인
런칭 전 설정된 Disallow: / 규칙이 남아 있거나 스토어에 비밀번호가 설정된 경우입니다.
해결 방법
해당 규칙을 삭제하고 온라인 스토어 환경설정에서 스토어 비밀번호를 비활성화합니다.
진단 결과
Shopify 기본 규칙 누락
발생 원인
템플릿에 추가하지 않고 일반 텍스트로 덮어쓴 경우입니다.
해결 방법
본 생성기의 템플릿을 사용하여 기본 그룹을 복원합니다.
진단 결과
차단된 페이지의 Google 노출 지속
발생 원인
robots.txt는 크롤링만 차단할 뿐 색인 생성을 막지 못하므로, 이미 알려진 페이지는 검색 결과에 남을 수 있습니다.
해결 방법
검색에서 제외해야 하는 페이지에는 noindex 태그를 적용하고, 색인이 삭제될 때까지 크롤링이 가능하도록 유지합니다.
이 도구로 알 수 없는 점
모든 도구에는 한계가 있습니다. 도구의 범위를 정확히 알아야 결과를 과대 해석하지 않습니다.
- robots.txt는 권고 사항입니다. 표준을 준수하는 크롤러는 이를 따르지만 그렇지 않은 크롤러도 있으므로, 비공개 페이지를 숨기는 용도로는 적합하지 않습니다.
- 크롤링을 제어할 뿐 색인 생성을 제어하지는 않습니다. 검색 결과에서 페이지를 완전히 제거하려면 noindex를 사용해야 합니다.
이제 지속적인 자동 점검을 시작해 보세요.
ShopSEO를 무료로 설치하고 1분 안에 첫 진단을 진행할 수 있습니다. 마음에 들지 않는 변경 사항은 언제든 되돌릴 수 있습니다. 신용카드 등록, 테마 수정, 약정 없이 바로 이용할 수 있습니다.