Zum Inhalt springen
ShopSEO
Kostenloses Tool

Shopify-robots.txt-Generator

Erstelle eine robots.txt, die Shopifys Regeln beibehält und deine ergänzt.

Shopify-Seiten

Gefilterte Kollektionsseiten blockieren

URLs wie /collections/shirts?filter.v.size=M. Das dupliziert Kollektionen und verschwendet Crawling-Budget.

Hersteller- und Typ-Seiten blockieren

Shopifys automatische Seiten unter /collections/vendors und /collections/types, die selten für Rankings nützlich sind.

KI-Crawler

Crawler für KI-Training blockieren

GPTBot, ClaudeBot, Google-Extended, CCBot und andere, die Seiten zum Trainieren von Modellen crawlen.

KI-Suche und -Assistenten blockieren

OAI-SearchBot, PerplexityBot und andere, die Seiten für Nutzerantworten abrufen. Meist lohnt es sich, diese zuzulassen.

Eigene Regeln

Ein Pfad pro Zeile. Ein * steht für beliebige Zeichen, /collections/test* blockiert also jede Kollektion, die mit test beginnt.
Eine vollständige Adresse pro Zeile. Die Sitemap von Shopify ist bereits enthalten.

Wird direkt im Browser erstellt. Shopifys eigene Regeln bleiben bestehen.

Deine robots.txt.liquid

Shopify-Regeln plus 2 eigene

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1Gehe in Shopify auf Onlineshop, Themes und wähle bei deinem aktiven Theme Code bearbeiten.
  2. 2Wähle unter Templates Neues Template hinzufügen, nimm robots.txt und erstelle es.
  3. 3Ersetze den Inhalt durch den Code oben und speichere. Prüfe eine Minute später deinshop.de/robots.txt.

Mit der aktuellen robots.txt eines Shops vergleichen

Lade die robots.txt, die ein Shop aktuell ausliefert, um vor dem Ersetzen zu sehen, was bereits blockiert wird.

Anleitung

So erstellst du eine robots.txt-Datei für Shopify

  1. 1

    Regeln festlegen

    Blockiere gefilterte Seiten, KI-Crawler oder beliebige Pfade und füge zusätzliche Sitemaps hinzu.

  2. 2

    Vorlage kopieren

    Erhalte eine robots.txt.liquid, die Shopifys Standardregeln behält und nur deine Regeln ergänzt.

  3. 3

    Im Theme einfügen

    Erstelle das robots.txt-Template im Code-Editor deines Themes, füge den Code ein und speichere.

Über das Tool

Was dieser robots.txt-Generator enthält

Bestimme, wovon Crawler fernbleiben sollen: von gefilterten Kollektionsseiten bis hin zu KI-Trainings-Bots. Erhalte eine fertige robots.txt.liquid zum Einfügen in dein Theme. Die Vorlage behält Shopifys Standardregeln bei, die Shopify für dich aktualisiert, und ergänzt deine eigenen Regeln. Eine einfache robots.txt-Version für Websites auf anderen Plattformen ist ebenfalls enthalten.

  • Behält Shopifys Standardregeln bei, die von Shopify aktualisiert werden
  • Blockiert gefilterte Kollektions-URLs und Hersteller-Seiten
  • Blockiert KI-Crawler für Training und Suche separat
  • Lädt die aktuelle robots.txt eines Shops zum Vergleichen
Ergebnisse verstehen

So liest du die generierte robots.txt

Ein Report, den man nicht interpretieren kann, sagt einem nur auf umständliche Weise, dass etwas nicht stimmt.

  • Das Liquid-Template

    Shopify erstellt die robots.txt aus einer Vorlage. Wenn du die Standardgruppen behältst, bleibt jede spätere Shopify-Regel aktiv und deine Regeln greifen zusätzlich.

  • Regeln für alle Crawler

    Disallow-Zeilen für die allgemeine Crawler-Gruppe (User-agent: *). In Pfaden kann * als Platzhalter dienen.

  • KI-Crawler-Gruppen

    Jeder blockierte KI-Crawler erhält eine eigene Gruppe mit Disallow: /. Trainings- und Such-Crawler sind getrennt, da das Blockieren von Such-Bots auch das Erscheinen in KI-Antworten verhindert.

  • Deine aktuelle Datei

    Lade die Live-robots.txt eines beliebigen Shops, um zu prüfen, ob alles blockiert ist, ob eine Sitemap vorhanden ist oder ob KI-Crawler bereits gesperrt sind.

Warum das wichtig ist

Die genaue Ursache statt leerer Phrasen.

  • 01

    Filter vervielfachen URLs

    Jede Kombination aus Farbe, Größe und Preis erzeugt eine neue URL für Google. Bei großen Katalogen verdrängt das die wirklich wichtigen Seiten.

  • 02

    KI-Crawler gezielt steuern

    Trainings-Crawler nutzen deine Produkttexte für Modelle, während Such-Crawler Kundschaft aus KI-Antworten bringen. Mit der robots.txt triffst du eine gezielte Wahl.

  • 03

    Manuelle Anpassungen bergen Risiken

    Wird das Template durch reinen Text ersetzt, gehen Shopifys Regeln und künftige Updates verloren. Zusätzliche Regeln anzuhängen ist der sichere Weg.

Häufige Befunde

Typische robots.txt-Fehler bei Shopify

Vier Probleme, die den Großteil der Berichte dieses Tools in einem Shopify-Shop ausmachen.

Der Befund

Der gesamte Shop ist blockiert

Die Ursache

Ein übrig gebliebenes Disallow: / aus der Entwicklungsphase oder ein passwortgeschützter Shop.

Die Lösung

Entferne die Regel und deaktiviere das Shop-Passwort im Shopify-Adminbereich unter Onlineshop, Konfiguration.

Der Befund

Shopifys Standardregeln fehlen

Die Ursache

Das Liquid-Template wurde durch einfachen Text ersetzt, statt es zu erweitern.

Die Lösung

Nutze die Vorlage dieses Generators, um die standardmäßigen Gruppen wiederherzustellen.

Der Befund

Blockierte Seiten bleiben im Google-Index

Die Ursache

Die robots.txt stoppt das Crawlen, nicht das Indexieren. Bereits bekannte Seiten bleiben oft gelistet.

Die Lösung

Verwende ein noindex-Tag für Seiten, die aus den Suchergebnissen verschwinden sollen, und halte diese crawlbar, bis Google den Index bereinigt.

Grenzen

Was dieser robots.txt-Generator nicht tun kann

Jedes Tool stößt an Grenzen. Wer sie kennt, zieht keine falschen Schlüsse aus den Daten.

  • Die robots.txt ist eine Richtlinie. Seriöse Crawler halten sich daran, andere ignorieren dies. Private Seiten lassen sich damit nicht absichern.
  • Gesteuert wird das Crawlen, nicht das Indexieren. Um Seiten aus den Suchergebnissen zu entfernen, hilft noindex.
Fragen

Zu diesem Tool.

Fehlt etwas? Schreib uns.

Lass diese Prüfungen lieber dauerhaft laufen.

Installiere ShopSEO kostenlos, starte deinen ersten Audit in unter einer Minute und mache alles rückgängig, was dir nicht gefällt. Keine Kreditkarte, keine Änderungen am Theme, keine Bindung.

5.0auf Shopify2 BewertungenNeu im Shopify App StoreFree-Tarif, keine KreditkartePremium $19.99 im Monat, 7 Tage kostenloser Testzeitraum