跳至主要内容
ShopSEO
免费工具

Shopify robots.txt 生成器

保留 Shopify 默认规则,同时添加您的自定义规则。

Shopify 页面

拦截带筛选参数的产品系列页面

类似 /collections/shirts?filter.v.size=M 的网址。它们会复制产品系列内容并浪费抓取配额。

拦截供应商和产品类型页面

Shopify 自动生成的 /collections/vendors 和 /collections/types 页面,这些页面通常没有排名价值。

AI 爬虫

拦截 AI 训练爬虫

拦截 GPTBot、ClaudeBot、Google-Extended、CCBot 等抓取页面以训练模型的爬虫。

拦截 AI 搜索与助手

拦截 OAI-SearchBot、PerplexityBot 等抓取页面以回答买家问题的爬虫。通常建议保持允许。

您的自定义规则

每行一条路径。* 匹配任意内容,因此 /collections/test* 会屏蔽所有以 test 开头的产品系列。
每行一个完整地址。Shopify 自带的站点地图已包含在内。

在您的浏览器中生成。Shopify 自带规则保持不变。

您的 robots.txt.liquid

Shopify 规则加上您的 2 条规则

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1在 Shopify 后台中,前往“在线商店”>“模板”,在当前发布的模板上选择“编辑代码”。
  2. 2在 Templates 目录下选择“添加新模板”,挑选 robots.txt 并完成创建。
  3. 3将文件内容替换为上述代码并保存。约一分钟后访问 yourstore.com/robots.txt 检查生效情况。

与商店当前的 robots.txt 对比

加载商店当前生效的 robots.txt,在替换之前查看已屏蔽的内容。

使用方法

如何为 Shopify 创建 robots.txt 文件

  1. 1

    选择规则

    屏蔽筛选页面、AI 爬虫或任意指定路径,并添加额外的站点地图。

  2. 2

    复制模板代码

    获取 robots.txt.liquid 代码,保留 Shopify 默认规则并仅附加您的自定义设置。

  3. 3

    添加到模板

    在模板代码编辑器中新建 robots.txt 模板,粘贴并保存即可。

关于此工具

robots.txt 生成工具包含的内容

自由选择需要屏蔽的爬虫,涵盖筛选后的产品系列页面以及各类 AI 训练机器人,一键生成可直接粘贴至模板的 robots.txt.liquid 代码。该方案完整保留 Shopify 自行维护的默认规则,并将您的规则补充在其上方。同时提供纯文本 robots.txt 版本,适用于其他平台网站。

  • 保留由 Shopify 持续更新的默认规则
  • 屏蔽带筛选和按厂商分类的产品系列 URL
  • 分别屏蔽 AI 训练爬虫与 AI 搜索爬虫
  • 支持加载商店当前的 robots.txt 进行比对
解读结果

如何查看生成的 robots.txt

无法解读的报告,不过是用更长的话来表达出错了而已。

  • Liquid 模板

    Shopify 基于模板构建 robots.txt。保留默认规则分组意味着后续 Shopify 新增的规则都会生效,您的规则会补充在其上方。

  • 全局爬虫规则

    在针对所有爬虫(User-agent: *)的分组中添加 Disallow 行。路径支持使用 * 作为通配符。

  • AI 爬虫分组

    每个被屏蔽的 AI 爬虫都会获得独立的 Disallow: / 规则分组。训练爬虫与搜索爬虫已做区分,因为屏蔽搜索爬虫会导致您的内容无法出现在 AI 搜索解答中。

  • 当前文件状态

    加载任意商店在线运行的 robots.txt,检查其是否屏蔽了全部内容、是否列出了站点地图,或是否已屏蔽 AI 爬虫。

为什么重要

深入底层逻辑,拒绝空洞套话。

  • 01

    筛选参数会成倍增加页面

    颜色、尺寸和价格的每种组合都会生成一个新 URL 供 Google 抓取。对于大型目录而言,这会挤占希望被收录的核心页面份额。

  • 02

    掌控 AI 爬虫的主动权

    训练爬虫会抓取您的产品文案用于模型训练,而搜索爬虫能从 AI 回答中引流客户。robots.txt 让您可以分别自主抉择。

  • 03

    直接修改 Shopify 原生文件极易出错

    若用纯文本直接替换模板,将丢失 Shopify 的预设规则和后续自动更新。以增量方式添加才是稳妥做法。

常见问题

Shopify 常见 robots.txt 错误

Shopify 商店中最常被此工具检测出的 4 个问题。

发现的问题

整座商店被完全屏蔽

原因分析

上线前残留的 Disallow: / 规则,或商店启用了访问密码保护。

修复方法

删除该规则,并在“在线商店”下的“首选项”中关闭商店密码。

发现的问题

Shopify 默认规则丢失

原因分析

使用了纯文本替换原生模板,而非在其基础上进行扩展。

修复方法

从本生成器提供的模板重新开始,恢复默认分组设置。

发现的问题

已屏蔽的页面依然出现在 Google 中

原因分析

robots.txt 仅限制抓取,并不阻止索引。之前已被收录的页面可能继续留存。

修复方法

对需要彻底移出搜索结果的页面使用 noindex 标签,并在移出前保持其可抓取状态。

局限性

robots.txt 生成工具无法实现的功能

每款工具都有边界。清楚它的局限,才能避免对结果进行过度解读。

  • robots.txt 仅作为爬取规范建议。规范的爬虫会遵守,恶意爬虫则不会,因此它不能用于隐藏私密页面。
  • 它控制的是抓取行为,而非索引。如需从搜索结果中彻底移除页面,请使用 noindex。
常见疑问

关于本工具。

还有其他疑问?咨询我们。

改为全天候持续监控。

免费安装 ShopSEO,不到一分钟即可完成首次审查,随时撤销任何不满意的内容。无需信用卡,无需修改模板,无任何绑定限制。

5.0在 Shopify 上2 条评价Shopify App Store 新上架Free 套餐,无需信用卡Premium 套餐每月 $19.99,7 天免费试用