Shopify-robots.txt-Generator
Erstelle eine robots.txt, die Shopifys Regeln beibehält und deine ergänzt.
In drei Schritten, ohne Account.
- 1
Regeln festlegen
Blockiere gefilterte Seiten, KI-Crawler oder beliebige Pfade und füge zusätzliche Sitemaps hinzu.
- 2
Vorlage kopieren
Erhalte eine robots.txt.liquid, die Shopifys Standardregeln behält und nur deine Regeln ergänzt.
- 3
Im Theme einfügen
Erstelle das robots.txt-Template im Code-Editor deines Themes, füge den Code ein und speichere.
Was geprüft wird
Bestimme, wovon Crawler fernbleiben sollen: von gefilterten Kollektionsseiten bis hin zu KI-Trainings-Bots. Erhalte eine fertige robots.txt.liquid zum Einfügen in dein Theme. Die Vorlage behält Shopifys Standardregeln bei, die Shopify für dich aktualisiert, und ergänzt deine eigenen Regeln. Eine einfache robots.txt-Version für Websites auf anderen Plattformen ist ebenfalls enthalten.
- Behält Shopifys Standardregeln bei, die von Shopify aktualisiert werden
- Blockiert gefilterte Kollektions-URLs und Hersteller-Seiten
- Blockiert KI-Crawler für Training und Suche separat
- Lädt die aktuelle robots.txt eines Shops zum Vergleichen
Was die einzelnen Werte bedeuten.
Ein Report, den man nicht interpretieren kann, sagt einem nur auf umständliche Weise, dass etwas nicht stimmt.
Das Liquid-Template
Shopify erstellt die robots.txt aus einer Vorlage. Wenn du die Standardgruppen behältst, bleibt jede spätere Shopify-Regel aktiv und deine Regeln greifen zusätzlich.
Regeln für alle Crawler
Disallow-Zeilen für die allgemeine Crawler-Gruppe (User-agent: *). In Pfaden kann * als Platzhalter dienen.
KI-Crawler-Gruppen
Jeder blockierte KI-Crawler erhält eine eigene Gruppe mit Disallow: /. Trainings- und Such-Crawler sind getrennt, da das Blockieren von Such-Bots auch das Erscheinen in KI-Antworten verhindert.
Deine aktuelle Datei
Lade die Live-robots.txt eines beliebigen Shops, um zu prüfen, ob alles blockiert ist, ob eine Sitemap vorhanden ist oder ob KI-Crawler bereits gesperrt sind.
Die genaue Ursache statt leerer Phrasen.
- 01
Filter vervielfachen URLs
Jede Kombination aus Farbe, Größe und Preis erzeugt eine neue URL für Google. Bei großen Katalogen verdrängt das die wirklich wichtigen Seiten.
- 02
KI-Crawler gezielt steuern
Trainings-Crawler nutzen deine Produkttexte für Modelle, während Such-Crawler Kundschaft aus KI-Antworten bringen. Mit der robots.txt triffst du eine gezielte Wahl.
- 03
Manuelle Anpassungen bergen Risiken
Wird das Template durch reinen Text ersetzt, gehen Shopifys Regeln und künftige Updates verloren. Zusätzliche Regeln anzuhängen ist der sichere Weg.
Typische Probleme und wie man sie behebt.
Vier Probleme, die den Großteil der Berichte dieses Tools in einem Shopify-Shop ausmachen.
Der Befund
Der gesamte Shop ist blockiert
Die Ursache
Ein übrig gebliebenes Disallow: / aus der Entwicklungsphase oder ein passwortgeschützter Shop.
Die Lösung
Entferne die Regel und deaktiviere das Shop-Passwort im Shopify-Adminbereich unter Onlineshop, Konfiguration.
Der Befund
Shopifys Standardregeln fehlen
Die Ursache
Das Liquid-Template wurde durch einfachen Text ersetzt, statt es zu erweitern.
Die Lösung
Nutze die Vorlage dieses Generators, um die standardmäßigen Gruppen wiederherzustellen.
Der Befund
Blockierte Seiten bleiben im Google-Index
Die Ursache
Die robots.txt stoppt das Crawlen, nicht das Indexieren. Bereits bekannte Seiten bleiben oft gelistet.
Die Lösung
Verwende ein noindex-Tag für Seiten, die aus den Suchergebnissen verschwinden sollen, und halte diese crawlbar, bis Google den Index bereinigt.
Was dieses Tool nicht erkennt.
Jedes Tool stößt an Grenzen. Wer sie kennt, zieht keine falschen Schlüsse aus den Daten.
- Die robots.txt ist eine Richtlinie. Seriöse Crawler halten sich daran, andere ignorieren dies. Private Seiten lassen sich damit nicht absichern.
- Gesteuert wird das Crawlen, nicht das Indexieren. Um Seiten aus den Suchergebnissen zu entfernen, hilft noindex.
Weitere kostenlose Tools.
Alle Tools- llms.txt-GeneratorZeige KI-Assistenten, was dein Shop verkauft.
- 301-Weiterleitungs-CheckerJeden Sprung verfolgen, jede Kette finden.
- Meta-Tag-PrüferAlle Titel und Beschreibungen einer Seite in der Länge sehen, die Google anzeigt.
- Shopify-Theme-DetectorFinde heraus, welches Theme und welche Apps ein Shopify-Shop nutzt.
Lass diese Prüfungen lieber dauerhaft laufen.
Installiere ShopSEO kostenlos, starte deinen ersten Audit in unter einer Minute und mache alles rückgängig, was dir nicht gefällt. Keine Kreditkarte, keine Änderungen am Theme, keine Bindung.