Spring til indhold
ShopSEO
Gratis værktøj

Shopify robots.txt-generator

Byg en robots.txt, der bevarer Shopifys regler og tilføjer dine egne.

Shopify-sider

Bloker filtrerede kollektionssider

URL'er som /collections/skjorter?filter.v.size=M. De kopierer kollektionen og spilder crawl-tid.

Bloker forhandler- og produkttypesider

Shopifys automatiske /collections/vendors- og /collections/types-sider, som sjældent er værd at rangere på.

AI-crawlere

Bloker AI-træningsrobotter

GPTBot, ClaudeBot, Google-Extended, CCBot og andre, der indsamler sider til at træne modeller.

Bloker AI-søgning og assistenter

OAI-SearchBot, PerplexityBot og andre, der henter sider for at svare kunder. Som regel en fordel at holde åben.

Dine egne regler

Én sti pr. linje. En * matcher alt, så /collections/test* blokerer alle kollektioner, der starter med test.
Én fuld adresse pr. linje. Shopifys eget sitemap er allerede medtaget.

Genereret i din browser. Shopifys egne regler bevares.

Din robots.txt.liquid

Shopifys regler plus 2 af dine

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1Gå til Webshop, Temaer i Shopify, og vælg Rediger kode på dit aktive tema.
  2. 2Under Skabeloner vælger du Tilføj en ny skabelon, vælger robots.txt og opretter den.
  3. 3Erstat indholdet med koden ovenfor, og gem. Tjek dinbutik.dk/robots.txt et minut senere.

Sammenlign med butikkens nuværende robots.txt

Hent den robots.txt, som en butik bruger nu, for at se, hvad den allerede blokerer, før du udskifter den.

Sådan bruges det

Sådan opretter du en robots.txt-fil til Shopify

  1. 1

    Vælg dine regler

    Bloker filtrerede sider, AI-crawlere eller enhver sti, du angiver, og tilføj ekstra sitemaps.

  2. 2

    Kopier skabelonen

    Få en robots.txt.liquid, der bevarer Shopifys standardindstillinger og kun tilføjer dine regler.

  3. 3

    Tilføj den til dit tema

    Opret robots.txt-skabelonen i dit temas kodeeditor, indsæt koden, og gem.

Om værktøjet

Hvad denne robots.txt-generator indeholder

Vælg, hvad crawlere skal holdes væk fra, lige fra filtrerede kollektionssider til AI-træningsbots, og få en robots.txt.liquid klar til at indsætte i dit tema. Den bevarer Shopifys standardregler, som Shopify opdaterer for dig, og tilføjer dine egne oveni. En ren robots.txt-version medfølger til sites på andre platforme.

  • Bevarer Shopifys standardregler, opdateret af Shopify
  • Blokerer filtrerede kollektions-URL'er og leverandørsider
  • Blokerer AI-træning eller AI-søgecrawlere separat
  • Indlæser en butiks nuværende robots.txt til sammenligning
Forstå resultaterne

Sådan læser du den genererede robots.txt

En rapport, du ikke kan tyde, er bare en omstændelig måde at sige, at noget er galt.

  • Liquid-skabelonen

    Shopify bygger robots.txt ud fra en skabelon. Ved at bevare standardgrupperne beholder du alle regler, Shopify tilføjer fremover, mens dine egne regler lægges oveni.

  • Regler for alle crawlere

    Disallow-linjer tilføjet til gruppen for alle crawlere (User-agent: *). Stier kan bruge * som jokertegn.

  • Grupper til AI-crawlere

    Hver blokeret AI-crawler får sin egen gruppe med Disallow: /. Trænings- og søgecrawlere adskilles, da blokering af søgning også skjuler dig i AI-svar.

  • Din nuværende fil

    Indlæs enhver butiks aktive robots.txt for at se, om den blokerer alt, angiver et sitemap eller allerede blokerer AI-crawlere.

Hvorfor det betyder noget

Mekanikken bag, uden floskler.

  • 01

    Filtre mangedobler dine sider

    Hver kombination af farve, størrelse og pris skaber en ny URL for Google. I et stort varekatalog kan det overskygge de sider, du faktisk ønsker fundet.

  • 02

    AI-crawlere er et aktivt valg

    Træningscrawlere henter dine produkttekster til modeller, mens søgecrawlere sender kunder videre fra AI-svar. Med robots.txt kan du vælge til og fra.

  • 03

    Shopifys fil kan let redigeres forkert

    Hvis du erstatter skabelonen med ren tekst, mister du Shopifys regler og deres fremtidige opdateringer. At bygge videre på den er den sikre vej.

Typiske fund

Typiske fejl med robots.txt på Shopify

Fire problemer, der dækker størstedelen af det, værktøjet finder i en Shopify-butik.

Problemet

Hele butikken er blokeret

Hvorfor det sker

En efterladt Disallow: / fra før lancering eller en adgangskodebeskyttet butik.

Løsningen

Fjern reglen, og slå butikkens adgangskode fra under Webshop, Præferencer.

Problemet

Shopifys standarder mangler

Hvorfor det sker

Skabelonen blev erstattet med ren tekst i stedet for at bygge videre på den.

Løsningen

Tag udgangspunkt i denne generators skabelon, så standardgrupperne vender tilbage.

Problemet

Blokerede sider vises stadig på Google

Hvorfor det sker

robots.txt forhindrer crawling, ikke indeksering. Sider, Google allerede kender, kan forblive synlige.

Løsningen

Brug et noindex-tag på sider, der skal ud af søgeresultaterne, og hold dem crawlable, indtil de forsvinder.

Begrænsninger

Hvad denne robots.txt-generator ikke kan gøre

Ethvert værktøj har grænser. Når du kender dem, undgår du at overfortolke tallene.

  • robots.txt er en henstilling. Velopdragne crawlere følger den, andre gør ikke, og den kan ikke bruges til at skjule private sider.
  • Den styrer crawling, ikke indeksering. Brug noindex for at fjerne en side fra søgeresultaterne.
Spørgsmål

Om dette værktøj.

Mangler du svar? Spørg os.

Kør dette automatisk i stedet.

Installer ShopSEO gratis, kør dit første tjek på under et minut, og rul alt tilbage, du ikke bryder dig om. Intet kreditkort, ingen ændringer i temaet og ingen binding.

5.0på Shopify2 anmeldelserNy i Shopify App StoreFree-abonnement, intet kreditkortPremium $19.99 om måneden, 7 dages gratis prøveperiode