Shopify用robots.txtジェネレーター
Shopifyの基本ルールを維持しながら、独自のルールを追加できます。
アカウント登録不要の3ステップ。
- 1
ルールを選択
絞り込みページ、AIクローラー、指定したパスのブロックや、追加のサイトマップを設定します。
- 2
テンプレートをコピー
Shopifyの基本ルールを保持し、必要なルールだけを追加したrobots.txt.liquidを取得します。
- 3
テーマに追加
テーマのコードエディタでrobots.txtテンプレートを作成し、貼り付けて保存します。
確認項目
絞り込み条件付きのコレクションページからAI学習クローラーまで、クロールを制限したい対象を選択するだけで、テーマに貼り付け可能なrobots.txt.liquidを生成します。Shopifyによる自動更新ルールを保ったまま、追加のルールを安全に適用できます。Shopify以外のプラットフォーム向けに、通常のrobots.txtテキストも出力可能です。
- Shopifyが自動更新する標準ルールをそのまま維持
- 絞り込みやベンダー指定のコレクションURLをブロック
- AI学習用クローラーとAI検索用クローラーを個別に制御
- 現在のストアのrobots.txtを読み込んで比較可能
各数値が意味するもの。
解釈できないレポートは、単に何かがおかしいと言い換えているだけにすぎません。
Liquidテンプレート
Shopifyはテンプレートからrobots.txtを生成します。標準グループを残すことで、将来Shopifyが追加するルールも自動で反映され、独自のルールを上乗せできます。
全クローラー向けのルール
すべてのクローラーを対象とするグループ（User-agentに*を指定）にDisallow行を追加します。パスにはワイルドカード（*）も使用できます。
AIクローラー用のグループ
ブロック対象のAIクローラーごとにDisallowを設定した独立グループを作成します。検索クローラーをブロックするとAIの回答画面にも表示されなくなるため、学習用と検索用は分けて管理します。
現在のファイル内容
ストアの公開中robots.txtを読み込み、全体がブロックされていないか、サイトマップが記載されているか、AIクローラーが拒否されているかを確認できます。
一般論ではなく、具体的な仕組み。
- 01
絞り込みによるページの急増
色、サイズ、価格などの組み合わせごとに新しいURLが生成され、Googleのクロール対象になります。商品数が多いストアでは、重要なページへのクロールが妨げられる原因になります。
- 02
AIクローラーへの対応選択
AI学習用クローラーはモデル構築のために商品説明を収集し、検索用クローラーはAIの回答経由で訪問者を呼び込みます。robots.txtを使えば、目的に応じて制御できます。
- 03
Shopifyの標準設定の上書きミス
テンプレートを固定のテキストファイルに置き換えてしまうと、Shopifyの標準ルールや今後のアップデートが失われます。テンプレートを拡張する形が最も安全です。
よく検出される課題とその修正方法。
Shopifyストアにおいて、このツールが報告する問題の大半を占める4つのパターンです。
検出された問題
ストア全体がブロックされている
発生する原因
公開前のDisallow設定が残っているか、ストアにパスワード保護がかかっています。
修正方法
該当のルールを削除し、Shopify管理画面の「オンラインストア」から「各種設定」を開いてストアのパスワードを無効にします。
検出された問題
Shopifyの標準ルールが消えている
発生する原因
テンプレートに追加するのではなく、固定テキストで置き換えてしまったことが原因です。
修正方法
このジェネレーターで作成したテンプレートを使用し、標準グループを復元してください。
検出された問題
ブロックしたページがGoogleに残っている
発生する原因
robots.txtはクロールを防ぐもので、インデックス削除は行いません。すでに認識されたページは検索結果に残る場合があります。
修正方法
検索結果から削除したいページにはnoindexタグを設定し、インデックスから消えるまではクロール可能な状態を保ちます。
このツールではわからないこと。
どのツールにも守備範囲があります。どこまでを把握できるかを知っておくことで、結果の過大解釈を防げます。
- robots.txtはクローラーに対する指示であり、強制力はありません。一般的なクローラーは従いますが、非公開ページを隠す手段としては使えません。
- クロールを制御するものであり、インデックス自体を防ぐものではありません。検索結果からページを削除するにはnoindexを使用してください。
継続的な自動監視に切り替える。
ShopSEOを無料でインストールし、1分以内に最初の診断を実行。気に入らない変更はいつでも元に戻せます。クレジットカード不要、テーマ編集不要、契約の縛りもありません。