Hoppa till innehållet
ShopSEO
Kostnadsfritt verktyg

Shopify robots.txt-generator

Skapa en robots.txt som behåller Shopifys regler och lägger till dina egna.

Shopify-sidor

Blockera filtrerade kollektionssidor

URL:er som /collections/skjortor?filter.v.size=M. De duplicerar kollektionen och slösar på genomsökningstid.

Blockera sidor för leverantörer och produkttyper

Shopifys automatiska sidor /collections/vendors och /collections/types, som sällan är värda att ranka.

AI-spindlar

Blockera AI-spindlar för modellträning

GPTBot, ClaudeBot, Google-Extended, CCBot och andra som samlar in sidor för att träna modeller.

Blockera AI-sökning och assistenter

OAI-SearchBot, PerplexityBot och andra som hämtar sidor för att svara kunder. Oftast värt att hålla öppet.

Dina egna regler

En sökväg per rad. En asterisk (*) matchar vad som helst, så /collections/test* blockerar alla kollektioner som börjar på test.
En fullständig adress per rad. Shopifys egen webbplatskarta finns redan med.

Skapas i din webbläsare. Shopifys egna regler finns kvar.

Din robots.txt.liquid

Shopifys regler plus 2 egna

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1Gå till Onlinebutik, Teman i Shopify och välj Redigera kod för ditt aktiva tema.
  2. 2Under Mallar väljer du Lägg till en ny mall, välj robots.txt och skapa den.
  3. 3Ersätt innehållet med koden ovan och spara. Kontrollera dinbutik.se/robots.txt efter någon minut.

Jämför med en butiks nuvarande robots.txt

Läs in den robots.txt som en butik har nu, för att se vad den redan blockerar innan du ersätter den.

Så här gör du

Så skapar du en robots.txt-fil för Shopify

  1. 1

    Välj dina regler

    Blockera filtrerade sidor, AI-spindlar eller valfria sökvägar, och lägg till extra webbplatskartor.

  2. 2

    Kopiera mallen

    Få en robots.txt.liquid som behåller Shopifys standard och bara lägger till dina egna regler.

  3. 3

    Lägg till i ditt tema

    Skapa mallen robots.txt i temats kodredigerare, klistra in och spara.

Om verktyget

Vad denna robots.txt-generator innehåller

Välj vad du vill hålla sökspindlar borta från, från filtrerade kollektionssidor till AI-träningsbotar, och få en robots.txt.liquid redo att klistra in i ditt tema. Den behåller Shopifys standardregler, som Shopify uppdaterar åt dig, och lägger till dina regler ovanpå. En vanlig robots.txt-version ingår för webbplatser på andra plattformar.

  • Behåller Shopifys standardregler, som uppdateras av Shopify
  • Blockerar filtrerade kollektions-URL:er och leverantörssidor
  • Blockerar spindlar för AI-träning eller AI-sökning separat
  • Hämtar en butiks nuvarande robots.txt för att jämföra
Tolka resultaten

Så läser du den genererade robots.txt-filen

En rapport du inte kan tyda är bara ett krångligare sätt att säga att något är fel.

  • Liquid-mallen

    Shopify bygger robots.txt från en mall. Genom att behålla standardgrupperna behåller du alla regler Shopify lägger till senare; dina regler läggs ovanpå.

  • Regler för alla sökspindlar

    Disallow-rader som läggs till i gruppen för alla sökspindlar (User-agent: *). Sökvägar kan använda * som jokertecken.

  • Grupper för AI-spindlar

    Varje blockerad AI-spindel får en egen grupp med Disallow: /. Spindlar för träning och sökning hålls isär, eftersom blockering av sökspindlar även döljer dig från AI-svar.

  • Din nuvarande fil

    Läs in valfri butiks aktiva robots.txt för att se om den blockerar allt, listar en webbplatskarta eller redan blockerar AI-spindlar.

Varför det spelar roll

Orsak och verkan, inte tomma fraser.

  • 01

    Filter mångdubblar dina sidor

    Varje kombination av färg, storlek och pris blir en ny URL för Google att genomsöka. I ett stort sortiment tränger det undan sidorna du vill ska synas.

  • 02

    AI-spindlar är nu ett val

    Träningsspindlar hämtar dina produkttexter till modeller; sökspindlar tar med sig kunder från AI-svar. robots.txt låter dig styra båda.

  • 03

    Lätt att göra fel i Shopifys fil

    Ersätter du mallen med ren text försvinner Shopifys regler och framtida uppdateringar. Det säkra sättet är att bygga vidare på den.

Vanliga fynd

Vanliga misstag med robots.txt i Shopify

Fyra problem som står för det mesta som detta verktyg hittar i en Shopify-butik.

Upptäckt

Hela butiken är blockerad

Orsak

En kvarlämnad Disallow: / från tiden före lansering, eller en lösenordsskyddad butik.

Åtgärd

Ta bort regeln och stäng av butikslösenordet under Onlinebutik, Inställningar.

Upptäckt

Shopifys standardregler saknas

Orsak

Mallen ersattes med ren text i stället för att byggas ut.

Åtgärd

Börja från den här generatorns mall så att standardgrupperna återställs.

Upptäckt

Blockerade sidor syns fortfarande på Google

Orsak

robots.txt stoppar genomsökning, inte indexering; redan kända sidor kan ligga kvar.

Åtgärd

Använd en noindex-tagg för sidor som ska bort ur sökresultat, och låt dem gå att genomsöka tills de försvinner.

Begränsningar

Vad denna robots.txt-generator inte kan göra

Varje verktyg har gränser. Att känna till dem gör att du inte övertolkar resultatet.

  • robots.txt är en begäran. Seriösa sökspindlar följer den; andra gör det inte, och den är inget sätt att dölja privata sidor.
  • Den styr genomsökning, inte indexering. Använd noindex för att ta bort en sida från sökresultaten.
Frågor

Om det här verktyget.

Saknar du något? Fråga oss.

Kör detta kontinuerligt i stället.

Installera ShopSEO gratis, kör din första granskning på under en minut och återställ allt du inte gillar. Inget kreditkort, inga ändringar i temat, ingen inlåsning.

5.0på Shopify2 recensionerNy i Shopify App StoreFree-abonnemang, inget kreditkortPremium $19.99 per månad, 7 dagars kostnadsfri provperiod