Shopify robots.txt 生成器
保留 Shopify 默认规则，同时添加您的自定义规则。
只需三步，无需账号。
- 1
选择规则
屏蔽筛选页面、AI 爬虫或任意指定路径，并添加额外的站点地图。
- 2
复制模板代码
获取 robots.txt.liquid 代码，保留 Shopify 默认规则并仅附加您的自定义设置。
- 3
添加到模板
在模板代码编辑器中新建 robots.txt 模板，粘贴并保存即可。
检查项目
自由选择需要屏蔽的爬虫，涵盖筛选后的产品系列页面以及各类 AI 训练机器人，一键生成可直接粘贴至模板的 robots.txt.liquid 代码。该方案完整保留 Shopify 自行维护的默认规则，并将您的规则补充在其上方。同时提供纯文本 robots.txt 版本，适用于其他平台网站。
- 保留由 Shopify 持续更新的默认规则
- 屏蔽带筛选和按厂商分类的产品系列 URL
- 分别屏蔽 AI 训练爬虫与 AI 搜索爬虫
- 支持加载商店当前的 robots.txt 进行比对
每个数字背后的含义。
无法解读的报告，不过是用更长的话来表达出错了而已。
Liquid 模板
Shopify 基于模板构建 robots.txt。保留默认规则分组意味着后续 Shopify 新增的规则都会生效，您的规则会补充在其上方。
全局爬虫规则
在针对所有爬虫（User-agent: *）的分组中添加 Disallow 行。路径支持使用 * 作为通配符。
AI 爬虫分组
每个被屏蔽的 AI 爬虫都会获得独立的 Disallow: / 规则分组。训练爬虫与搜索爬虫已做区分，因为屏蔽搜索爬虫会导致您的内容无法出现在 AI 搜索解答中。
当前文件状态
加载任意商店在线运行的 robots.txt，检查其是否屏蔽了全部内容、是否列出了站点地图，或是否已屏蔽 AI 爬虫。
深入底层逻辑，拒绝空洞套话。
- 01
筛选参数会成倍增加页面
颜色、尺寸和价格的每种组合都会生成一个新 URL 供 Google 抓取。对于大型目录而言，这会挤占希望被收录的核心页面份额。
- 02
掌控 AI 爬虫的主动权
训练爬虫会抓取您的产品文案用于模型训练，而搜索爬虫能从 AI 回答中引流客户。robots.txt 让您可以分别自主抉择。
- 03
直接修改 Shopify 原生文件极易出错
若用纯文本直接替换模板，将丢失 Shopify 的预设规则和后续自动更新。以增量方式添加才是稳妥做法。
常测出的问题及修复方法。
Shopify 商店中最常被此工具检测出的 4 个问题。
发现的问题
整座商店被完全屏蔽
原因分析
上线前残留的 Disallow: / 规则，或商店启用了访问密码保护。
修复方法
删除该规则，并在“在线商店”下的“首选项”中关闭商店密码。
发现的问题
Shopify 默认规则丢失
原因分析
使用了纯文本替换原生模板，而非在其基础上进行扩展。
修复方法
从本生成器提供的模板重新开始，恢复默认分组设置。
发现的问题
已屏蔽的页面依然出现在 Google 中
原因分析
robots.txt 仅限制抓取，并不阻止索引。之前已被收录的页面可能继续留存。
修复方法
对需要彻底移出搜索结果的页面使用 noindex 标签，并在移出前保持其可抓取状态。
本工具无法提供的信息。
每款工具都有边界。清楚它的局限，才能避免对结果进行过度解读。
- robots.txt 仅作为爬取规范建议。规范的爬虫会遵守，恶意爬虫则不会，因此它不能用于隐藏私密页面。
- 它控制的是抓取行为，而非索引。如需从搜索结果中彻底移除页面，请使用 noindex。
改为全天候持续监控。
免费安装 ShopSEO，不到一分钟即可完成首次审查，随时撤销任何不满意的内容。无需信用卡，无需修改模板，无任何绑定限制。