Shopify robots.txt-generator
Byg en robots.txt, der bevarer Shopifys regler og tilføjer dine egne.
Shopify-sider
Bloker filtrerede kollektionssider
URL'er som /collections/skjorter?filter.v.size=M. De kopierer kollektionen og spilder crawl-tid.
Bloker forhandler- og produkttypesider
Shopifys automatiske /collections/vendors- og /collections/types-sider, som sjældent er værd at rangere på.
AI-crawlere
Bloker AI-træningsrobotter
GPTBot, ClaudeBot, Google-Extended, CCBot og andre, der indsamler sider til at træne modeller.
Bloker AI-søgning og assistenter
OAI-SearchBot, PerplexityBot og andre, der henter sider for at svare kunder. Som regel en fordel at holde åben.
Dine egne regler
Genereret i din browser. Shopifys egne regler bevares.
Din robots.txt.liquid
Shopifys regler plus 2 af dine
- 1Gå til Webshop, Temaer i Shopify, og vælg Rediger kode på dit aktive tema.
- 2Under Skabeloner vælger du Tilføj en ny skabelon, vælger robots.txt og opretter den.
- 3Erstat indholdet med koden ovenfor, og gem. Tjek dinbutik.dk/robots.txt et minut senere.
Sammenlign med butikkens nuværende robots.txt
Hent den robots.txt, som en butik bruger nu, for at se, hvad den allerede blokerer, før du udskifter den.
Sådan opretter du en robots.txt-fil til Shopify
- 1
Vælg dine regler
Bloker filtrerede sider, AI-crawlere eller enhver sti, du angiver, og tilføj ekstra sitemaps.
- 2
Kopier skabelonen
Få en robots.txt.liquid, der bevarer Shopifys standardindstillinger og kun tilføjer dine regler.
- 3
Tilføj den til dit tema
Opret robots.txt-skabelonen i dit temas kodeeditor, indsæt koden, og gem.
Hvad denne robots.txt-generator indeholder
Vælg, hvad crawlere skal holdes væk fra, lige fra filtrerede kollektionssider til AI-træningsbots, og få en robots.txt.liquid klar til at indsætte i dit tema. Den bevarer Shopifys standardregler, som Shopify opdaterer for dig, og tilføjer dine egne oveni. En ren robots.txt-version medfølger til sites på andre platforme.
- Bevarer Shopifys standardregler, opdateret af Shopify
- Blokerer filtrerede kollektions-URL'er og leverandørsider
- Blokerer AI-træning eller AI-søgecrawlere separat
- Indlæser en butiks nuværende robots.txt til sammenligning
Sådan læser du den genererede robots.txt
En rapport, du ikke kan tyde, er bare en omstændelig måde at sige, at noget er galt.
Liquid-skabelonen
Shopify bygger robots.txt ud fra en skabelon. Ved at bevare standardgrupperne beholder du alle regler, Shopify tilføjer fremover, mens dine egne regler lægges oveni.
Regler for alle crawlere
Disallow-linjer tilføjet til gruppen for alle crawlere (User-agent: *). Stier kan bruge * som jokertegn.
Grupper til AI-crawlere
Hver blokeret AI-crawler får sin egen gruppe med Disallow: /. Trænings- og søgecrawlere adskilles, da blokering af søgning også skjuler dig i AI-svar.
Din nuværende fil
Indlæs enhver butiks aktive robots.txt for at se, om den blokerer alt, angiver et sitemap eller allerede blokerer AI-crawlere.
Mekanikken bag, uden floskler.
- 01
Filtre mangedobler dine sider
Hver kombination af farve, størrelse og pris skaber en ny URL for Google. I et stort varekatalog kan det overskygge de sider, du faktisk ønsker fundet.
- 02
AI-crawlere er et aktivt valg
Træningscrawlere henter dine produkttekster til modeller, mens søgecrawlere sender kunder videre fra AI-svar. Med robots.txt kan du vælge til og fra.
- 03
Shopifys fil kan let redigeres forkert
Hvis du erstatter skabelonen med ren tekst, mister du Shopifys regler og deres fremtidige opdateringer. At bygge videre på den er den sikre vej.
Typiske fejl med robots.txt på Shopify
Fire problemer, der dækker størstedelen af det, værktøjet finder i en Shopify-butik.
Problemet
Hele butikken er blokeret
Hvorfor det sker
En efterladt Disallow: / fra før lancering eller en adgangskodebeskyttet butik.
Løsningen
Fjern reglen, og slå butikkens adgangskode fra under Webshop, Præferencer.
Problemet
Shopifys standarder mangler
Hvorfor det sker
Skabelonen blev erstattet med ren tekst i stedet for at bygge videre på den.
Løsningen
Tag udgangspunkt i denne generators skabelon, så standardgrupperne vender tilbage.
Problemet
Blokerede sider vises stadig på Google
Hvorfor det sker
robots.txt forhindrer crawling, ikke indeksering. Sider, Google allerede kender, kan forblive synlige.
Løsningen
Brug et noindex-tag på sider, der skal ud af søgeresultaterne, og hold dem crawlable, indtil de forsvinder.
Hvad denne robots.txt-generator ikke kan gøre
Ethvert værktøj har grænser. Når du kender dem, undgår du at overfortolke tallene.
- robots.txt er en henstilling. Velopdragne crawlere følger den, andre gør ikke, og den kan ikke bruges til at skjule private sider.
- Den styrer crawling, ikke indeksering. Brug noindex for at fjerne en side fra søgeresultaterne.
Flere gratis værktøjer.
Alle værktøjerKør dette automatisk i stedet.
Installer ShopSEO gratis, kør dit første tjek på under et minut, og rul alt tilbage, du ikke bryder dig om. Intet kreditkort, ingen ændringer i temaet og ingen binding.