본문으로 건너뛰기
ShopSEO
무료 도구

Shopify robots.txt 생성기

Shopify 기본 규칙을 유지하면서 원하는 규칙을 추가하는 robots.txt를 생성합니다.

Shopify 페이지

필터링된 컬렉션 페이지 차단

/collections/shirts?filter.v.size=M 같은 URL입니다. 컬렉션을 중복 복제하여 크롤링 예산을 낭비합니다.

공급업체 및 제품 유형 페이지 차단

Shopify가 자동 생성하는 /collections/vendors 및 /collections/types 페이지입니다. 검색 노출 가치가 낮은 편입니다.

AI 크롤러

AI 학습 크롤러 차단

모델 학습을 위해 페이지를 수집하는 GPTBot, ClaudeBot, Google-Extended, CCBot 등을 차단합니다.

AI 검색 및 어시스턴트 차단

구매자의 질문에 답변하기 위해 페이지를 읽어가는 OAI-SearchBot, PerplexityBot 등입니다. 일반적으로 허용해 두는 편이 유리합니다.

직접 추가한 규칙

한 줄에 경로 하나씩 입력하세요. * 기호는 모든 문자와 일치하므로 /collections/test*는 test로 시작하는 모든 컬렉션을 차단합니다.
한 줄에 전체 주소 하나씩 입력하세요. Shopify 기본 사이트맵은 이미 포함되어 있습니다.

브라우저에서 직접 생성됩니다. Shopify의 기본 규칙은 그대로 유지됩니다.

생성된 robots.txt.liquid

Shopify 기본 규칙 및 사용자 규칙 2개

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1Shopify에서 온라인 스토어, 테마로 이동한 뒤 현재 게시된 테마의 코드 편집을 선택합니다.
  2. 2템플릿 아래에서 새 템플릿 추가를 선택하고 robots.txt를 지정하여 생성합니다.
  3. 3내용을 위의 코드로 교체하고 저장합니다. 1분 후 yourstore.com/robots.txt에서 확인해 보세요.

스토어의 현재 robots.txt와 비교

교체하기 전 현재 스토어에 적용된 robots.txt를 불러와 이미 차단 중인 항목을 확인해 보세요.

사용 방법

Shopify용 robots.txt 파일 생성 방법

  1. 1

    규칙 선택

    필터 페이지, AI 크롤러 또는 지정 경로를 차단하고 추가 사이트맵을 등록합니다.

  2. 2

    템플릿 복사

    Shopify 기본 설정을 유지하면서 추가한 규칙만 반영된 robots.txt.liquid를 받습니다.

  3. 3

    테마에 추가

    테마 코드 편집기에서 robots.txt 템플릿을 생성하고 코드를 붙여넣은 뒤 저장합니다.

도구 소개

robots.txt 생성기 포함 항목

필터링된 컬렉션 페이지부터 AI 학습용 봇까지 크롤러 차단 대상을 선택하고, 테마에 바로 붙여넣을 수 있는 robots.txt.liquid 코드를 받아보세요. Shopify가 자동 업데이트하는 기본 규칙은 유지하며 사용자 규칙만 깔끔하게 추가합니다. 타 플랫폼 사이트를 위한 일반 robots.txt 버전도 함께 제공됩니다.

  • Shopify가 업데이트하는 기본 규칙 유지
  • 필터 및 공급업체 컬렉션 URL 차단
  • AI 학습 및 AI 검색 크롤러 개별 차단
  • 비교를 위한 스토어 현재 robots.txt 불러오기
결과 확인

생성된 robots.txt 파일 확인 방법

해석할 수 없는 리포트는 그저 어딘가 잘못되었다는 말을 길게 늘어놓은 것에 불과합니다.

  • Liquid 템플릿

    Shopify는 템플릿을 기반으로 robots.txt를 생성합니다. 기본 그룹을 유지하면 향후 Shopify가 추가하는 규칙이 그대로 반영되며, 그 위에 사용자 규칙이 더해집니다.

  • 모든 크롤러 대상 규칙

    모든 크롤러 대상 그룹(User-agent: *)에 Disallow 행이 추가됩니다. 경로에는 와일드카드(*)를 사용할 수 있습니다.

  • AI 크롤러 그룹

    차단된 각 AI 크롤러는 Disallow: / 규칙이 포함된 개별 그룹으로 지정됩니다. 검색용 크롤러 차단 시 AI 답변 노출에서도 제외되므로 학습용과 검색용 크롤러는 구분하여 관리합니다.

  • 현재 파일 확인

    스토어의 실제 robots.txt를 불러와 전체 차단 여부, 사이트맵 등록 여부, AI 크롤러 차단 여부 등을 확인할 수 있습니다.

중요한 이유

상투적인 조언이 아닌 구체적인 작동 원리

  • 01

    필터로 인한 페이지 증식

    색상, 크기, 가격 등의 조합마다 Google이 크롤링할 새 URL이 생성됩니다. 대규모 카탈로그의 경우 정작 노출되어야 할 핵심 페이지의 크롤링을 방해할 수 있습니다.

  • 02

    선택 가능한 AI 크롤러

    학습용 크롤러는 모델 개발을 위해 제품 문구를 수집하고, 검색 크롤러는 AI 답변을 통해 구매자를 유입시킵니다. robots.txt를 통해 각 크롤러를 직접 선택할 수 있습니다.

  • 03

    Shopify 파일 수정 시의 위험성

    템플릿을 일반 텍스트로 대체하면 Shopify 기본 규칙과 향후 업데이트가 모두 사라집니다. 기존 템플릿에 규칙을 추가하는 방식이 안전합니다.

자주 발견되는 문제

Shopify에서 자주 발생하는 robots.txt 오류

Shopify 스토어에서 이 도구로 발견되는 문제의 대부분을 차지하는 4가지 원인입니다.

진단 결과

스토어 전체 차단

발생 원인

런칭 전 설정된 Disallow: / 규칙이 남아 있거나 스토어에 비밀번호가 설정된 경우입니다.

해결 방법

해당 규칙을 삭제하고 온라인 스토어 환경설정에서 스토어 비밀번호를 비활성화합니다.

진단 결과

Shopify 기본 규칙 누락

발생 원인

템플릿에 추가하지 않고 일반 텍스트로 덮어쓴 경우입니다.

해결 방법

본 생성기의 템플릿을 사용하여 기본 그룹을 복원합니다.

진단 결과

차단된 페이지의 Google 노출 지속

발생 원인

robots.txt는 크롤링만 차단할 뿐 색인 생성을 막지 못하므로, 이미 알려진 페이지는 검색 결과에 남을 수 있습니다.

해결 방법

검색에서 제외해야 하는 페이지에는 noindex 태그를 적용하고, 색인이 삭제될 때까지 크롤링이 가능하도록 유지합니다.

한계

robots.txt 생성기 지원 제한 사항

모든 도구에는 한계가 있습니다. 도구의 범위를 정확히 알아야 결과를 과대 해석하지 않습니다.

  • robots.txt는 권고 사항입니다. 표준을 준수하는 크롤러는 이를 따르지만 그렇지 않은 크롤러도 있으므로, 비공개 페이지를 숨기는 용도로는 적합하지 않습니다.
  • 크롤링을 제어할 뿐 색인 생성을 제어하지는 않습니다. 검색 결과에서 페이지를 완전히 제거하려면 noindex를 사용해야 합니다.
자주 묻는 질문

이 도구에 대한 안내

궁금한 점이 더 있으신가요? 문의해 주세요.

이제 지속적인 자동 점검을 시작해 보세요.

ShopSEO를 무료로 설치하고 1분 안에 첫 진단을 진행할 수 있습니다. 마음에 들지 않는 변경 사항은 언제든 되돌릴 수 있습니다. 신용카드 등록, 테마 수정, 약정 없이 바로 이용할 수 있습니다.

5.0Shopify에서리뷰 2개Shopify App Store 신규 출시Free 요금제, 신용카드 등록 불필요Premium 요금제 월 $19.99, 7일 무료 체험