Генератор robots.txt для Shopify
Сгенерируйте robots.txt, сохранив правила Shopify и добавив свои.
Страницы Shopify
Блокировать страницы коллекций с фильтрами
URL вроде /collections/shirts?filter.v.size=M дублируют коллекцию и расходуют краулинговый бюджет.
Блокировать страницы поставщиков и типов товаров
Автоматические страницы Shopify /collections/vendors и /collections/types редко приносят пользу в поиске.
Краулеры AI
Блокировать краулеры обучения AI
GPTBot, ClaudeBot, Google-Extended, CCBot и другие краулеры, собирающие страницы для обучения моделей.
Блокировать поиск и ассистенты на базе AI
OAI-SearchBot, PerplexityBot и другие краулеры, отвечающие покупателям. Обычно их лучше оставить открытыми.
Ваши собственные правила
Создается в вашем браузере. Стандартные правила Shopify сохраняются.
Файл robots.txt.liquid
Правила Shopify плюс 2 ваших правила
- 1В Shopify откройте «Интернет-магазин», затем «Темы» и выберите «Редактировать код» для активной темы.
- 2В папке Templates нажмите «Добавить шаблон», выберите robots.txt и создайте его.
- 3Замените его содержимое приведенным выше кодом и сохраните. Через минуту проверьте yourstore.com/robots.txt.
Сравнить с текущим robots.txt магазина
Загрузите robots.txt, который магазин использует сейчас, чтобы проверить текущие блокировки перед заменой.
Как создать файл robots.txt для Shopify
- 1
Выберите правила
Блокируйте страницы фильтров, AI-ботов или любые нужные URL, а также добавляйте дополнительные карты сайта.
- 2
Скопируйте шаблон
Получите robots.txt.liquid, который сохраняет стандартные правила Shopify и добавляет только ваши.
- 3
Добавьте в тему
Создайте шаблон robots.txt в редакторе кода вашей темы, вставьте код и сохраните.
Что включает этот генератор robots.txt
Выберите, что скрыть от поисковых роботов: от страниц с фильтрами до ботов для обучения AI. Получите готовый файл robots.txt.liquid для темы. Он сохраняет стандартные правила Shopify, которые платформа обновляет сама, и добавляет ваши. Также есть обычная версия robots.txt для сайтов на других платформах.
- Сохраняет стандартные правила Shopify с автообновлением от платформы
- Блокирует URL страниц фильтров и коллекций по поставщикам
- Раздельно блокирует ботов для обучения AI и AI-поиска
- Загружает текущий robots.txt магазина для сравнения
Как читать созданный файл robots.txt
Отчет, который невозможно понять, лишь усложняет поиск проблемы.
Шаблон Liquid
Shopify формирует robots.txt из шаблона. Сохранение стандартных групп гарантирует, что будущие обновления правил от Shopify останутся в силе, а ваши правила добавятся к ним.
Правила для всех роботов
Строки Disallow добавляются в группу для всех краулеров (User-agent: *). В путях можно использовать символ * как подстановочный знак.
Группы для AI-ботов
Каждый заблокированный AI-бот получает отдельную группу с Disallow: /. Боты обучения и боты поиска разделены, так как блокировка поисковых ботов скроет вас из ответов нейросетей.
Текущий файл магазина
Загрузите robots.txt любого магазина, чтобы проверить, не заблокирован ли весь сайт, указана ли карта сайта и закрыт ли доступ для AI.
Реальная механика вместо общих фраз.
- 01
Фильтры размножают страницы
Каждая комбинация цвета, размера и цены создает новый URL для Google. В большом каталоге это вытесняет из обхода важные страницы, которые должны попадать в поиск.
- 02
AI-краулеры теперь можно выбирать
Обучающие боты забирают описания ваших товаров для моделей, а поисковые приводят покупателей из AI-ответов. robots.txt позволяет настроить доступ для каждого отдельно.
- 03
Файл Shopify легко сломать
Замена шаблона на простой текст стирает правила Shopify и лишает будущих обновлений. Безопаснее всего добавлять правила поверх стандартных.
Частые ошибки в robots.txt на Shopify
Четыре распространенные проблемы, которые этот инструмент выявляет в магазине на Shopify чаще всего.
Находка
Заблокирован весь магазин
Причина
Оставшаяся директива Disallow: / со времени разработки или включенный пароль на магазине.
Решение
Удалите правило и отключите пароль магазина в разделе «Интернет-магазин», «Настройки».
Находка
Пропали стандартные правила Shopify
Причина
Шаблон заменили обычным текстом вместо добавления правил.
Решение
Используйте шаблон из этого генератора, чтобы вернуть стандартные группы.
Находка
Заблокированные страницы все еще в Google
Причина
robots.txt запрещает сканирование, а не индексацию. Уже известные страницы могут оставаться в поиске.
Решение
Используйте тег noindex для страниц, которые нужно удалить из поиска, и разрешите их обход, пока они не выпадут из индекса.
Что не может сделать этот генератор robots.txt
У каждого инструмента есть рамки. Понимая эти границы, вы не станете делать ложных выводов.
- robots.txt носит рекомендательный характер. Добросовестные роботы соблюдают правила, другие нет, поэтому он не подходит для скрытия конфиденциальных данных.
- Файл управляет сканированием, а не индексацией. Чтобы удалить страницу из результатов поиска, используйте noindex.
Другие бесплатные инструменты.
Все инструменты- Проверка карты сайтаПоиск карты сайта и проверка всех страниц в ней.
- Генератор llms.txtРасскажите AI-ассистентам, что продает ваш магазин.
- Проверка 301 редиректовОтслеживайте каждый шаг, находите цепочки редиректов.
- Shopify theme detectorУзнайте, какую тему и приложения использует любой магазин Shopify.
Настройте непрерывную проверку.
Установите ShopSEO бесплатно, проведите первый аудит меньше чем за минуту и легко отмените любые изменения, если что-то не понравится. Без банковской карты, без правок в теме и без обязательств.