コンテンツへスキップ
ShopSEO
無料ツール

Shopify用robots.txtジェネレーター

Shopifyの基本ルールを維持しながら、独自のルールを追加できます。

Shopifyページ

絞り込み条件付きコレクションページをブロック

/collections/shirts?filter.v.size=M のようなURLです。コレクションの内容と重複し、クロールバジェットを無駄に消費します。

ベンダーおよび商品タイプページをブロック

Shopifyが自動生成する /collections/vendors や /collections/types ページを制御します。検索上位を狙う価値が低いケースが一般的です。

AIクローラー

AI学習用クローラーをブロック

GPTBot、ClaudeBot、Google-Extended、CCBotなど、モデル学習用にページを収集するボットをブロックします。

AI検索・アシスタントをブロック

OAI-SearchBotやPerplexityBotなど、ユーザーの質問に回答するためにページを取得するボットです。通常は許可しておくのが望ましいです。

カスタムルール

1行に1つのパスを入力します。*は任意の文字列に一致するため、/collections/test*と指定するとtestで始まるすべてのコレクションをブロックします。
1行に1つの完全なURLを入力します。Shopify標準のサイトマップはあらかじめ含まれています。

ブラウザ内で生成されます。Shopifyの基本ルールはそのまま維持されます。

生成されたrobots.txt.liquid

Shopifyの標準ルールに加え、独自ルール2件

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1Shopify管理画面で「オンラインストア」から「テーマ」へ進み、公開中のテーマで「コードを編集」を選択します。
  2. 2「テンプレート」配下で「新しいテンプレートを追加」を選び、「robots.txt」を選択して作成します。
  3. 3コードを上記の記述に差し替えて保存します。1分ほど待ってから yourstore.com/robots.txt を確認してください。

ストアの現在のrobots.txtと比較

現在ストアが配信しているrobots.txtを読み込み、既存のブロック対象を確認してから変更できます。

使い方

Shopify向けのrobots.txtファイルを生成する方法

  1. 1

    ルールを選択

    絞り込みページ、AIクローラー、指定したパスのブロックや、追加のサイトマップを設定します。

  2. 2

    テンプレートをコピー

    Shopifyの基本ルールを保持し、必要なルールだけを追加したrobots.txt.liquidを取得します。

  3. 3

    テーマに追加

    テーマのコードエディタでrobots.txtテンプレートを作成し、貼り付けて保存します。

ツールについて

robots.txt生成ツールに含まれる設定内容

絞り込み条件付きのコレクションページからAI学習クローラーまで、クロールを制限したい対象を選択するだけで、テーマに貼り付け可能なrobots.txt.liquidを生成します。Shopifyによる自動更新ルールを保ったまま、追加のルールを安全に適用できます。Shopify以外のプラットフォーム向けに、通常のrobots.txtテキストも出力可能です。

  • Shopifyが自動更新する標準ルールをそのまま維持
  • 絞り込みやベンダー指定のコレクションURLをブロック
  • AI学習用クローラーとAI検索用クローラーを個別に制御
  • 現在のストアのrobots.txtを読み込んで比較可能
結果の見方

生成されたrobots.txtの見方

解釈できないレポートは、単に何かがおかしいと言い換えているだけにすぎません。

  • Liquidテンプレート

    Shopifyはテンプレートからrobots.txtを生成します。標準グループを残すことで、将来Shopifyが追加するルールも自動で反映され、独自のルールを上乗せできます。

  • 全クローラー向けのルール

    すべてのクローラーを対象とするグループ(User-agentに*を指定)にDisallow行を追加します。パスにはワイルドカード(*)も使用できます。

  • AIクローラー用のグループ

    ブロック対象のAIクローラーごとにDisallowを設定した独立グループを作成します。検索クローラーをブロックするとAIの回答画面にも表示されなくなるため、学習用と検索用は分けて管理します。

  • 現在のファイル内容

    ストアの公開中robots.txtを読み込み、全体がブロックされていないか、サイトマップが記載されているか、AIクローラーが拒否されているかを確認できます。

重要である理由

一般論ではなく、具体的な仕組み。

  • 01

    絞り込みによるページの急増

    色、サイズ、価格などの組み合わせごとに新しいURLが生成され、Googleのクロール対象になります。商品数が多いストアでは、重要なページへのクロールが妨げられる原因になります。

  • 02

    AIクローラーへの対応選択

    AI学習用クローラーはモデル構築のために商品説明を収集し、検索用クローラーはAIの回答経由で訪問者を呼び込みます。robots.txtを使えば、目的に応じて制御できます。

  • 03

    Shopifyの標準設定の上書きミス

    テンプレートを固定のテキストファイルに置き換えてしまうと、Shopifyの標準ルールや今後のアップデートが失われます。テンプレートを拡張する形が最も安全です。

よくある問題

Shopifyでよくあるrobots.txtの設定ミス

Shopifyストアにおいて、このツールが報告する問題の大半を占める4つのパターンです。

検出された問題

ストア全体がブロックされている

発生する原因

公開前のDisallow設定が残っているか、ストアにパスワード保護がかかっています。

修正方法

該当のルールを削除し、Shopify管理画面の「オンラインストア」から「各種設定」を開いてストアのパスワードを無効にします。

検出された問題

Shopifyの標準ルールが消えている

発生する原因

テンプレートに追加するのではなく、固定テキストで置き換えてしまったことが原因です。

修正方法

このジェネレーターで作成したテンプレートを使用し、標準グループを復元してください。

検出された問題

ブロックしたページがGoogleに残っている

発生する原因

robots.txtはクロールを防ぐもので、インデックス削除は行いません。すでに認識されたページは検索結果に残る場合があります。

修正方法

検索結果から削除したいページにはnoindexタグを設定し、インデックスから消えるまではクロール可能な状態を保ちます。

制限事項

robots.txt生成ツールで対応できない項目

どのツールにも守備範囲があります。どこまでを把握できるかを知っておくことで、結果の過大解釈を防げます。

  • robots.txtはクローラーに対する指示であり、強制力はありません。一般的なクローラーは従いますが、非公開ページを隠す手段としては使えません。
  • クロールを制御するものであり、インデックス自体を防ぐものではありません。検索結果からページを削除するにはnoindexを使用してください。
よくある質問

このツールについて。

ご不明な点はありますか。お問い合わせください。

継続的な自動監視に切り替える。

ShopSEOを無料でインストールし、1分以内に最初の診断を実行。気に入らない変更はいつでも元に戻せます。クレジットカード不要、テーマ編集不要、契約の縛りもありません。

5.0Shopifyで2件のレビューShopify App Storeに新登場Freeプランあり、クレジットカード不要Premiumプラン月額$19.99、7日間の無料トライアル