Shopify robots.txt-generator
Lag en robots.txt som beholder Shopifys regler og legger til dine.
Shopify-sider
Blokker filtrerte kolleksjonssider
Nettadresser som /collections/shirts?filter.v.size=M. De kopierer kolleksjonen og kaster bort crawl-budsjettet.
Blokker leverandør- og produkttypesider
Shopifys automatiske sider for /collections/vendors og /collections/types, som sjelden er verdt å rangere.
AI-crawlere
Blokker AI-tjenester som samler treningsdata
GPTBot, ClaudeBot, Google-Extended, CCBot og andre som henter sider for å trene modeller.
Blokker AI-søk og assistenter
OAI-SearchBot, PerplexityBot og andre som henter sider for å svare kunder. Det lønner seg som regel å la disse stå åpne.
Dine egne regler
Lages direkte i nettleseren din. Shopifys egne regler beholdes.
Din robots.txt.liquid
Shopifys regler pluss 2 av dine
- 1I Shopify går du til Nettbutikk, Temaer og velger Rediger kode på det aktive temaet.
- 2Under Maler velger du Legg til en ny mal, velger robots.txt og oppretter den.
- 3Erstatt innholdet med koden over og lagre. Sjekk yourstore.com/robots.txt ett minutt senere.
Sammenlign med butikkens nåværende robots.txt
Last inn robots.txt som butikken bruker nå, for å se hva den allerede blokkerer før du erstatter den.
Slik oppretter du en robots.txt-fil for Shopify
- 1
Velg reglene dine
Blokker filtrerte sider, AI-roboter eller bestemte baner, og legg til ekstra nettstedskart.
- 2
Kopier malen
Få en robots.txt.liquid som beholder Shopifys standardregler og legger til dine egne.
- 3
Legg den til i temaet
Opprett robots.txt-malen i temaets kodeeditor, lim inn og lagre.
Dette inneholder denne robots.txt-generatoren
Velg hva søkeroboter skal holdes unna, fra filtrerte kolleksjonssider til AI-treningsroboter, og få en ferdig robots.txt.liquid tilpasset temaet ditt. Den beholder Shopifys standardregler, som Shopify oppdaterer for deg, og legger til dine egne på toppen. En ren robots.txt-versjon følger også med for nettsteder på andre plattformer.
- Beholder Shopifys standardregler, oppdatert av Shopify
- Blokkerer filtrerte kolleksjons-URL-er og leverandørsider
- Blokkerer roboter for AI-trening eller AI-søk hver for seg
- Laster inn en butikks nåværende robots.txt for sammenligning
Slik leser du den genererte robots.txt-filen
En rapport du ikke forstår, er bare en omvei til å konstatere at noe er galt.
Liquid-malen
Shopify bygger robots.txt fra en mal. Ved å beholde standardgruppene sikrer du at alle regler Shopify legger til senere forblir intakte, mens dine egne regler legges på toppen.
Regler for alle søkeroboter
Disallow-linjer legges til i gruppen for alle søkeroboter (User-agent: *). Baner kan bruke * som jokertegn.
Grupper for AI-roboter
Hver blokkerte AI-robot får en egen gruppe med Disallow: /. Roboter for modelltrening og søk skilles fra hverandre, siden blokkering av søkeroboter også skjuler deg fra AI-svar.
Din nåværende fil
Last inn en aktiv robots.txt fra en hvilken som helst butikk for å se om den blokkerer alt, oppgir et nettstedskart eller allerede blokkerer AI-roboter.
Mekanismen bak, ikke bare tomme ord.
- 01
Filtre mangedobler sidene dine
Hver kombinasjon av farge, størrelse og pris skaper en ny URL som Google må gjennomsøke. I store varekataloger fortrenger dette sidene du faktisk vil skal bli funnet.
- 02
AI-roboter er et bevisst valg
Treningsroboter henter produkttekstene dine til modeller, mens søkeroboter sender kunder fra AI-svar. Med robots.txt kan du styre begge deler.
- 03
Lett å gjøre feil i Shopifys fil
Hvis du erstatter malen med ren tekst, mister du Shopifys standardregler og fremtidige oppdateringer. Å bygge videre på malen er den trygge måten.
Vanlige feil med robots.txt på Shopify
Fire problemer som står for det meste av hva dette verktøyet rapporterer i en Shopify-butikk.
Funnet
Hele butikken er blokkert
Hvorfor det skjer
En gjenglemt Disallow: / fra før lansering, eller en passordbeskyttet butikk.
Løsningen
Fjern regelen, og slå av butikkpassordet i Nettbutikk, Preferanser.
Funnet
Shopifys standardregler mangler
Hvorfor det skjer
Malen ble erstattet med ren tekst i stedet for å bli bygget videre på.
Løsningen
Ta utgangspunkt i denne generatorens mal slik at standardgruppene gjenopprettes.
Funnet
Blokkerte sider vises fortsatt i Google
Hvorfor det skjer
robots.txt hindrer gjennomsøking, ikke indeksering. Sider som allerede er kjent, kan forbli i søkeresultatene.
Løsningen
Bruk en noindex-tagg for sider som skal fjernes fra søk, og la dem være åpne for gjennomsøking til de faller ut.
Hva denne robots.txt-generatoren ikke kan gjøre
Hvert verktøy har grenser. Å vite hvor grensene går hindrer deg i å overtolke tallene.
- robots.txt er en forespørsel. Seriøse søkeroboter respekterer den, andre gjør det ikke, og den er ingen måte å skjule private sider på.
- Den styrer gjennomsøking, ikke indeksering. For å fjerne en side fra søkeresultatene må du bruke noindex.
Kjør dette kontinuerlig i stedet.
Installer ShopSEO gratis, kjør din første analyse på under ett minutt, og rull tilbake alt du ikke liker. Ingen kredittkort, ingen temaendringer, ingen bindingstid.