Shopify用robots.txtジェネレーター
Shopifyの基本ルールを維持しながら、独自のルールを追加できます。
Shopifyページ
絞り込み条件付きコレクションページをブロック
/collections/shirts?filter.v.size=M のようなURLです。コレクションの内容と重複し、クロールバジェットを無駄に消費します。
ベンダーおよび商品タイプページをブロック
Shopifyが自動生成する /collections/vendors や /collections/types ページを制御します。検索上位を狙う価値が低いケースが一般的です。
AIクローラー
AI学習用クローラーをブロック
GPTBot、ClaudeBot、Google-Extended、CCBotなど、モデル学習用にページを収集するボットをブロックします。
AI検索・アシスタントをブロック
OAI-SearchBotやPerplexityBotなど、ユーザーの質問に回答するためにページを取得するボットです。通常は許可しておくのが望ましいです。
カスタムルール
ブラウザ内で生成されます。Shopifyの基本ルールはそのまま維持されます。
生成されたrobots.txt.liquid
Shopifyの標準ルールに加え、独自ルール2件
- 1Shopify管理画面で「オンラインストア」から「テーマ」へ進み、公開中のテーマで「コードを編集」を選択します。
- 2「テンプレート」配下で「新しいテンプレートを追加」を選び、「robots.txt」を選択して作成します。
- 3コードを上記の記述に差し替えて保存します。1分ほど待ってから yourstore.com/robots.txt を確認してください。
ストアの現在のrobots.txtと比較
現在ストアが配信しているrobots.txtを読み込み、既存のブロック対象を確認してから変更できます。
Shopify向けのrobots.txtファイルを生成する方法
- 1
ルールを選択
絞り込みページ、AIクローラー、指定したパスのブロックや、追加のサイトマップを設定します。
- 2
テンプレートをコピー
Shopifyの基本ルールを保持し、必要なルールだけを追加したrobots.txt.liquidを取得します。
- 3
テーマに追加
テーマのコードエディタでrobots.txtテンプレートを作成し、貼り付けて保存します。
robots.txt生成ツールに含まれる設定内容
絞り込み条件付きのコレクションページからAI学習クローラーまで、クロールを制限したい対象を選択するだけで、テーマに貼り付け可能なrobots.txt.liquidを生成します。Shopifyによる自動更新ルールを保ったまま、追加のルールを安全に適用できます。Shopify以外のプラットフォーム向けに、通常のrobots.txtテキストも出力可能です。
- Shopifyが自動更新する標準ルールをそのまま維持
- 絞り込みやベンダー指定のコレクションURLをブロック
- AI学習用クローラーとAI検索用クローラーを個別に制御
- 現在のストアのrobots.txtを読み込んで比較可能
生成されたrobots.txtの見方
解釈できないレポートは、単に何かがおかしいと言い換えているだけにすぎません。
Liquidテンプレート
Shopifyはテンプレートからrobots.txtを生成します。標準グループを残すことで、将来Shopifyが追加するルールも自動で反映され、独自のルールを上乗せできます。
全クローラー向けのルール
すべてのクローラーを対象とするグループ(User-agentに*を指定)にDisallow行を追加します。パスにはワイルドカード(*)も使用できます。
AIクローラー用のグループ
ブロック対象のAIクローラーごとにDisallowを設定した独立グループを作成します。検索クローラーをブロックするとAIの回答画面にも表示されなくなるため、学習用と検索用は分けて管理します。
現在のファイル内容
ストアの公開中robots.txtを読み込み、全体がブロックされていないか、サイトマップが記載されているか、AIクローラーが拒否されているかを確認できます。
一般論ではなく、具体的な仕組み。
- 01
絞り込みによるページの急増
色、サイズ、価格などの組み合わせごとに新しいURLが生成され、Googleのクロール対象になります。商品数が多いストアでは、重要なページへのクロールが妨げられる原因になります。
- 02
AIクローラーへの対応選択
AI学習用クローラーはモデル構築のために商品説明を収集し、検索用クローラーはAIの回答経由で訪問者を呼び込みます。robots.txtを使えば、目的に応じて制御できます。
- 03
Shopifyの標準設定の上書きミス
テンプレートを固定のテキストファイルに置き換えてしまうと、Shopifyの標準ルールや今後のアップデートが失われます。テンプレートを拡張する形が最も安全です。
Shopifyでよくあるrobots.txtの設定ミス
Shopifyストアにおいて、このツールが報告する問題の大半を占める4つのパターンです。
検出された問題
ストア全体がブロックされている
発生する原因
公開前のDisallow設定が残っているか、ストアにパスワード保護がかかっています。
修正方法
該当のルールを削除し、Shopify管理画面の「オンラインストア」から「各種設定」を開いてストアのパスワードを無効にします。
検出された問題
Shopifyの標準ルールが消えている
発生する原因
テンプレートに追加するのではなく、固定テキストで置き換えてしまったことが原因です。
修正方法
このジェネレーターで作成したテンプレートを使用し、標準グループを復元してください。
検出された問題
ブロックしたページがGoogleに残っている
発生する原因
robots.txtはクロールを防ぐもので、インデックス削除は行いません。すでに認識されたページは検索結果に残る場合があります。
修正方法
検索結果から削除したいページにはnoindexタグを設定し、インデックスから消えるまではクロール可能な状態を保ちます。
robots.txt生成ツールで対応できない項目
どのツールにも守備範囲があります。どこまでを把握できるかを知っておくことで、結果の過大解釈を防げます。
- robots.txtはクローラーに対する指示であり、強制力はありません。一般的なクローラーは従いますが、非公開ページを隠す手段としては使えません。
- クロールを制御するものであり、インデックス自体を防ぐものではありません。検索結果からページを削除するにはnoindexを使用してください。
継続的な自動監視に切り替える。
ShopSEOを無料でインストールし、1分以内に最初の診断を実行。気に入らない変更はいつでも元に戻せます。クレジットカード不要、テーマ編集不要、契約の縛りもありません。