Shopify-robots.txt-Generator
Erstelle eine robots.txt, die Shopifys Regeln beibehält und deine ergänzt.
Shopify-Seiten
Gefilterte Kollektionsseiten blockieren
URLs wie /collections/shirts?filter.v.size=M. Das dupliziert Kollektionen und verschwendet Crawling-Budget.
Hersteller- und Typ-Seiten blockieren
Shopifys automatische Seiten unter /collections/vendors und /collections/types, die selten für Rankings nützlich sind.
KI-Crawler
Crawler für KI-Training blockieren
GPTBot, ClaudeBot, Google-Extended, CCBot und andere, die Seiten zum Trainieren von Modellen crawlen.
KI-Suche und -Assistenten blockieren
OAI-SearchBot, PerplexityBot und andere, die Seiten für Nutzerantworten abrufen. Meist lohnt es sich, diese zuzulassen.
Eigene Regeln
Wird direkt im Browser erstellt. Shopifys eigene Regeln bleiben bestehen.
Deine robots.txt.liquid
Shopify-Regeln plus 2 eigene
- 1Gehe in Shopify auf Onlineshop, Themes und wähle bei deinem aktiven Theme Code bearbeiten.
- 2Wähle unter Templates Neues Template hinzufügen, nimm robots.txt und erstelle es.
- 3Ersetze den Inhalt durch den Code oben und speichere. Prüfe eine Minute später deinshop.de/robots.txt.
Mit der aktuellen robots.txt eines Shops vergleichen
Lade die robots.txt, die ein Shop aktuell ausliefert, um vor dem Ersetzen zu sehen, was bereits blockiert wird.
So erstellst du eine robots.txt-Datei für Shopify
- 1
Regeln festlegen
Blockiere gefilterte Seiten, KI-Crawler oder beliebige Pfade und füge zusätzliche Sitemaps hinzu.
- 2
Vorlage kopieren
Erhalte eine robots.txt.liquid, die Shopifys Standardregeln behält und nur deine Regeln ergänzt.
- 3
Im Theme einfügen
Erstelle das robots.txt-Template im Code-Editor deines Themes, füge den Code ein und speichere.
Was dieser robots.txt-Generator enthält
Bestimme, wovon Crawler fernbleiben sollen: von gefilterten Kollektionsseiten bis hin zu KI-Trainings-Bots. Erhalte eine fertige robots.txt.liquid zum Einfügen in dein Theme. Die Vorlage behält Shopifys Standardregeln bei, die Shopify für dich aktualisiert, und ergänzt deine eigenen Regeln. Eine einfache robots.txt-Version für Websites auf anderen Plattformen ist ebenfalls enthalten.
- Behält Shopifys Standardregeln bei, die von Shopify aktualisiert werden
- Blockiert gefilterte Kollektions-URLs und Hersteller-Seiten
- Blockiert KI-Crawler für Training und Suche separat
- Lädt die aktuelle robots.txt eines Shops zum Vergleichen
So liest du die generierte robots.txt
Ein Report, den man nicht interpretieren kann, sagt einem nur auf umständliche Weise, dass etwas nicht stimmt.
Das Liquid-Template
Shopify erstellt die robots.txt aus einer Vorlage. Wenn du die Standardgruppen behältst, bleibt jede spätere Shopify-Regel aktiv und deine Regeln greifen zusätzlich.
Regeln für alle Crawler
Disallow-Zeilen für die allgemeine Crawler-Gruppe (User-agent: *). In Pfaden kann * als Platzhalter dienen.
KI-Crawler-Gruppen
Jeder blockierte KI-Crawler erhält eine eigene Gruppe mit Disallow: /. Trainings- und Such-Crawler sind getrennt, da das Blockieren von Such-Bots auch das Erscheinen in KI-Antworten verhindert.
Deine aktuelle Datei
Lade die Live-robots.txt eines beliebigen Shops, um zu prüfen, ob alles blockiert ist, ob eine Sitemap vorhanden ist oder ob KI-Crawler bereits gesperrt sind.
Die genaue Ursache statt leerer Phrasen.
- 01
Filter vervielfachen URLs
Jede Kombination aus Farbe, Größe und Preis erzeugt eine neue URL für Google. Bei großen Katalogen verdrängt das die wirklich wichtigen Seiten.
- 02
KI-Crawler gezielt steuern
Trainings-Crawler nutzen deine Produkttexte für Modelle, während Such-Crawler Kundschaft aus KI-Antworten bringen. Mit der robots.txt triffst du eine gezielte Wahl.
- 03
Manuelle Anpassungen bergen Risiken
Wird das Template durch reinen Text ersetzt, gehen Shopifys Regeln und künftige Updates verloren. Zusätzliche Regeln anzuhängen ist der sichere Weg.
Typische robots.txt-Fehler bei Shopify
Vier Probleme, die den Großteil der Berichte dieses Tools in einem Shopify-Shop ausmachen.
Der Befund
Der gesamte Shop ist blockiert
Die Ursache
Ein übrig gebliebenes Disallow: / aus der Entwicklungsphase oder ein passwortgeschützter Shop.
Die Lösung
Entferne die Regel und deaktiviere das Shop-Passwort im Shopify-Adminbereich unter Onlineshop, Konfiguration.
Der Befund
Shopifys Standardregeln fehlen
Die Ursache
Das Liquid-Template wurde durch einfachen Text ersetzt, statt es zu erweitern.
Die Lösung
Nutze die Vorlage dieses Generators, um die standardmäßigen Gruppen wiederherzustellen.
Der Befund
Blockierte Seiten bleiben im Google-Index
Die Ursache
Die robots.txt stoppt das Crawlen, nicht das Indexieren. Bereits bekannte Seiten bleiben oft gelistet.
Die Lösung
Verwende ein noindex-Tag für Seiten, die aus den Suchergebnissen verschwinden sollen, und halte diese crawlbar, bis Google den Index bereinigt.
Was dieser robots.txt-Generator nicht tun kann
Jedes Tool stößt an Grenzen. Wer sie kennt, zieht keine falschen Schlüsse aus den Daten.
- Die robots.txt ist eine Richtlinie. Seriöse Crawler halten sich daran, andere ignorieren dies. Private Seiten lassen sich damit nicht absichern.
- Gesteuert wird das Crawlen, nicht das Indexieren. Um Seiten aus den Suchergebnissen zu entfernen, hilft noindex.
Weitere kostenlose Tools.
Alle ToolsLass diese Prüfungen lieber dauerhaft laufen.
Installiere ShopSEO kostenlos, starte deinen ersten Audit in unter einer Minute und mache alles rückgängig, was dir nicht gefällt. Keine Kreditkarte, keine Änderungen am Theme, keine Bindung.