Hopp til innholdet
ShopSEO
Gratis verktøy

Shopify robots.txt-generator

Lag en robots.txt som beholder Shopifys regler og legger til dine.

Shopify-sider

Blokker filtrerte kolleksjonssider

Nettadresser som /collections/shirts?filter.v.size=M. De kopierer kolleksjonen og kaster bort crawl-budsjettet.

Blokker leverandør- og produkttypesider

Shopifys automatiske sider for /collections/vendors og /collections/types, som sjelden er verdt å rangere.

AI-crawlere

Blokker AI-tjenester som samler treningsdata

GPTBot, ClaudeBot, Google-Extended, CCBot og andre som henter sider for å trene modeller.

Blokker AI-søk og assistenter

OAI-SearchBot, PerplexityBot og andre som henter sider for å svare kunder. Det lønner seg som regel å la disse stå åpne.

Dine egne regler

Én bane per linje. En * matcher alt, så /collections/test* blokkerer alle kolleksjoner som starter med test.
Én fullstendig adresse per linje. Shopifys eget nettstedskart er allerede oppført.

Lages direkte i nettleseren din. Shopifys egne regler beholdes.

Din robots.txt.liquid

Shopifys regler pluss 2 av dine

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1I Shopify går du til Nettbutikk, Temaer og velger Rediger kode på det aktive temaet.
  2. 2Under Maler velger du Legg til en ny mal, velger robots.txt og oppretter den.
  3. 3Erstatt innholdet med koden over og lagre. Sjekk yourstore.com/robots.txt ett minutt senere.

Sammenlign med butikkens nåværende robots.txt

Last inn robots.txt som butikken bruker nå, for å se hva den allerede blokkerer før du erstatter den.

Slik bruker du det

Slik oppretter du en robots.txt-fil for Shopify

  1. 1

    Velg reglene dine

    Blokker filtrerte sider, AI-roboter eller bestemte baner, og legg til ekstra nettstedskart.

  2. 2

    Kopier malen

    Få en robots.txt.liquid som beholder Shopifys standardregler og legger til dine egne.

  3. 3

    Legg den til i temaet

    Opprett robots.txt-malen i temaets kodeeditor, lim inn og lagre.

Om verktøyet

Dette inneholder denne robots.txt-generatoren

Velg hva søkeroboter skal holdes unna, fra filtrerte kolleksjonssider til AI-treningsroboter, og få en ferdig robots.txt.liquid tilpasset temaet ditt. Den beholder Shopifys standardregler, som Shopify oppdaterer for deg, og legger til dine egne på toppen. En ren robots.txt-versjon følger også med for nettsteder på andre plattformer.

  • Beholder Shopifys standardregler, oppdatert av Shopify
  • Blokkerer filtrerte kolleksjons-URL-er og leverandørsider
  • Blokkerer roboter for AI-trening eller AI-søk hver for seg
  • Laster inn en butikks nåværende robots.txt for sammenligning
Tolke resultatene

Slik leser du den genererte robots.txt-filen

En rapport du ikke forstår, er bare en omvei til å konstatere at noe er galt.

  • Liquid-malen

    Shopify bygger robots.txt fra en mal. Ved å beholde standardgruppene sikrer du at alle regler Shopify legger til senere forblir intakte, mens dine egne regler legges på toppen.

  • Regler for alle søkeroboter

    Disallow-linjer legges til i gruppen for alle søkeroboter (User-agent: *). Baner kan bruke * som jokertegn.

  • Grupper for AI-roboter

    Hver blokkerte AI-robot får en egen gruppe med Disallow: /. Roboter for modelltrening og søk skilles fra hverandre, siden blokkering av søkeroboter også skjuler deg fra AI-svar.

  • Din nåværende fil

    Last inn en aktiv robots.txt fra en hvilken som helst butikk for å se om den blokkerer alt, oppgir et nettstedskart eller allerede blokkerer AI-roboter.

Hvorfor det betyr noe

Mekanismen bak, ikke bare tomme ord.

  • 01

    Filtre mangedobler sidene dine

    Hver kombinasjon av farge, størrelse og pris skaper en ny URL som Google må gjennomsøke. I store varekataloger fortrenger dette sidene du faktisk vil skal bli funnet.

  • 02

    AI-roboter er et bevisst valg

    Treningsroboter henter produkttekstene dine til modeller, mens søkeroboter sender kunder fra AI-svar. Med robots.txt kan du styre begge deler.

  • 03

    Lett å gjøre feil i Shopifys fil

    Hvis du erstatter malen med ren tekst, mister du Shopifys standardregler og fremtidige oppdateringer. Å bygge videre på malen er den trygge måten.

Vanlige funn

Vanlige feil med robots.txt på Shopify

Fire problemer som står for det meste av hva dette verktøyet rapporterer i en Shopify-butikk.

Funnet

Hele butikken er blokkert

Hvorfor det skjer

En gjenglemt Disallow: / fra før lansering, eller en passordbeskyttet butikk.

Løsningen

Fjern regelen, og slå av butikkpassordet i Nettbutikk, Preferanser.

Funnet

Shopifys standardregler mangler

Hvorfor det skjer

Malen ble erstattet med ren tekst i stedet for å bli bygget videre på.

Løsningen

Ta utgangspunkt i denne generatorens mal slik at standardgruppene gjenopprettes.

Funnet

Blokkerte sider vises fortsatt i Google

Hvorfor det skjer

robots.txt hindrer gjennomsøking, ikke indeksering. Sider som allerede er kjent, kan forbli i søkeresultatene.

Løsningen

Bruk en noindex-tagg for sider som skal fjernes fra søk, og la dem være åpne for gjennomsøking til de faller ut.

Begrensninger

Hva denne robots.txt-generatoren ikke kan gjøre

Hvert verktøy har grenser. Å vite hvor grensene går hindrer deg i å overtolke tallene.

  • robots.txt er en forespørsel. Seriøse søkeroboter respekterer den, andre gjør det ikke, og den er ingen måte å skjule private sider på.
  • Den styrer gjennomsøking, ikke indeksering. For å fjerne en side fra søkeresultatene må du bruke noindex.
Spørsmål

Om dette verktøyet.

Mangler det noe? Spør oss.

Kjør dette kontinuerlig i stedet.

Installer ShopSEO gratis, kjør din første analyse på under ett minutt, og rull tilbake alt du ikke liker. Ingen kredittkort, ingen temaendringer, ingen bindingstid.

5.0på Shopify2 anmeldelserNy på Shopify App StoreFree-abonnement, uten kredittkortPremium $19.99 i måneden, 7 dagers gratis prøveperiode