Генератор robots.txt для Shopify
Сгенерируйте robots.txt, сохранив правила Shopify и добавив свои.
Три простых шага, без регистрации.
- 1
Выберите правила
Блокируйте страницы фильтров, AI-ботов или любые нужные URL, а также добавляйте дополнительные карты сайта.
- 2
Скопируйте шаблон
Получите robots.txt.liquid, который сохраняет стандартные правила Shopify и добавляет только ваши.
- 3
Добавьте в тему
Создайте шаблон robots.txt в редакторе кода вашей темы, вставьте код и сохраните.
Что проверяет инструмент
Выберите, что скрыть от поисковых роботов: от страниц с фильтрами до ботов для обучения AI. Получите готовый файл robots.txt.liquid для темы. Он сохраняет стандартные правила Shopify, которые платформа обновляет сама, и добавляет ваши. Также есть обычная версия robots.txt для сайтов на других платформах.
- Сохраняет стандартные правила Shopify с автообновлением от платформы
- Блокирует URL страниц фильтров и коллекций по поставщикам
- Раздельно блокирует ботов для обучения AI и AI-поиска
- Загружает текущий robots.txt магазина для сравнения
Что означает каждая цифра.
Отчет, который невозможно понять, лишь усложняет поиск проблемы.
Шаблон Liquid
Shopify формирует robots.txt из шаблона. Сохранение стандартных групп гарантирует, что будущие обновления правил от Shopify останутся в силе, а ваши правила добавятся к ним.
Правила для всех роботов
Строки Disallow добавляются в группу для всех краулеров (User-agent: *). В путях можно использовать символ * как подстановочный знак.
Группы для AI-ботов
Каждый заблокированный AI-бот получает отдельную группу с Disallow: /. Боты обучения и боты поиска разделены, так как блокировка поисковых ботов скроет вас из ответов нейросетей.
Текущий файл магазина
Загрузите robots.txt любого магазина, чтобы проверить, не заблокирован ли весь сайт, указана ли карта сайта и закрыт ли доступ для AI.
Реальная механика вместо общих фраз.
- 01
Фильтры размножают страницы
Каждая комбинация цвета, размера и цены создает новый URL для Google. В большом каталоге это вытесняет из обхода важные страницы, которые должны попадать в поиск.
- 02
AI-краулеры теперь можно выбирать
Обучающие боты забирают описания ваших товаров для моделей, а поисковые приводят покупателей из AI-ответов. robots.txt позволяет настроить доступ для каждого отдельно.
- 03
Файл Shopify легко сломать
Замена шаблона на простой текст стирает правила Shopify и лишает будущих обновлений. Безопаснее всего добавлять правила поверх стандартных.
Что обычно обнаруживается и как это исправить.
Четыре распространенные проблемы, которые этот инструмент выявляет в магазине на Shopify чаще всего.
Находка
Заблокирован весь магазин
Причина
Оставшаяся директива Disallow: / со времени разработки или включенный пароль на магазине.
Решение
Удалите правило и отключите пароль магазина в разделе «Интернет-магазин», «Настройки».
Находка
Пропали стандартные правила Shopify
Причина
Шаблон заменили обычным текстом вместо добавления правил.
Решение
Используйте шаблон из этого генератора, чтобы вернуть стандартные группы.
Находка
Заблокированные страницы все еще в Google
Причина
robots.txt запрещает сканирование, а не индексацию. Уже известные страницы могут оставаться в поиске.
Решение
Используйте тег noindex для страниц, которые нужно удалить из поиска, и разрешите их обход, пока они не выпадут из индекса.
О чем этот инструмент умалчивает.
У каждого инструмента есть рамки. Понимая эти границы, вы не станете делать ложных выводов.
- robots.txt носит рекомендательный характер. Добросовестные роботы соблюдают правила, другие нет, поэтому он не подходит для скрытия конфиденциальных данных.
- Файл управляет сканированием, а не индексацией. Чтобы удалить страницу из результатов поиска, используйте noindex.
Другие бесплатные инструменты.
Все инструменты- Генератор llms.txtРасскажите AI-ассистентам, что продает ваш магазин.
- Проверка 301 редиректовОтслеживайте каждый шаг, находите цепочки редиректов.
- Проверка метатеговКонтроль длины title и метаописаний в пикселях по стандартам Google.
- Shopify theme detectorУзнайте, какую тему и приложения использует любой магазин Shopify.
Настройте непрерывную проверку.
Установите ShopSEO бесплатно, проведите первый аудит меньше чем за минуту и легко отмените любые изменения, если что-то не понравится. Без банковской карты, без правок в теме и без обязательств.