Naar inhoud gaan
ShopSEO
Gratis tool

Shopify robots.txt generator

Maak een robots.txt die de Shopify-regels behoudt en jouw regels toevoegt.

Shopify-pagina's

Gefilterde collectiepagina's blokkeren

URL's zoals /collections/shirts?filter.v.size=M. Ze dupliceren de collectie en verspillen crawlbudget.

Leveranciers- en typepagina's blokkeren

Shopify's automatische /collections/vendors- en /collections/types-pagina's, die zelden waardevol zijn voor zoekresultaten.

AI-crawlers

AI-trainingscrawlers blokkeren

GPTBot, ClaudeBot, Google-Extended, CCBot en andere bots die pagina's verzamelen om modellen te trainen.

AI-zoekmachines en assistenten blokkeren

OAI-SearchBot, PerplexityBot en andere bots die pagina's ophalen om vragen van shoppers te beantwoorden. Meestal handig om open te laten.

Je eigen regels

Een pad per regel. Een * geldt voor alles, dus /collections/test* blokkeert elke collectie die begint met test.
Een volledige URL per regel. De sitemap van Shopify zelf staat er al in.

Gemaakt in je browser. Shopify's eigen regels blijven gewoon actief.

Je robots.txt.liquid

Shopify-regels plus 2 eigen regels

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1Ga in Shopify naar Onlinewinkel, Thema's, en kies Code bewerken bij je actieve thema.
  2. 2Kies onder Sjablonen voor Een nieuw sjabloon toevoegen, kies robots.txt en maak dit aan.
  3. 3Vervang de inhoud door de bovenstaande code en sla op. Controleer na een minuut jouwwinkel.nl/robots.txt.

Vergelijken met de huidige robots.txt van een winkel

Laad het actuele robots.txt-bestand van een winkel om te zien wat er al wordt geblokkeerd voordat je het vervangt.

Hoe het werkt

Zo maak je een robots.txt-bestand voor Shopify

  1. 1

    Kies je regels

    Blokkeer gefilterde pagina's, AI-crawlers of specifieke paden, en voeg extra sitemaps toe.

  2. 2

    Kopieer de template

    Ontvang een robots.txt.liquid die de standaardregels van Shopify behoudt en alleen jouw regels toevoegt.

  3. 3

    Voeg toe aan je thema

    Maak de robots.txt-template aan in de code-editor van je thema, plak de code en sla op.

Over deze tool

Wat deze robots.txt-generator bevat

Kies wat crawlers niet mogen bezoeken, van gefilterde collectiepagina's tot AI-trainingsbots, en ontvang een robots.txt.liquid die je direct in je thema kunt plakken. Het behoudt de standaardregels van Shopify, die automatisch worden bijgewerkt, en voegt jouw eigen regels toe. Een platte robots.txt-versie is inbegrepen voor sites op andere platforms.

  • Behoudt standaardregels van Shopify, bijgewerkt door Shopify
  • Blokkeert gefilterde en leverancierscollectie-URL's
  • Blokkeert crawlers voor AI-training of AI-zoekfuncties apart
  • Laadt de huidige robots.txt van een winkel om te vergelijken
De resultaten begrijpen

Zo lees je de gegenereerde robots.txt

Een rapport dat je niet kunt interpreteren, is alleen maar een omslachtige manier om te zeggen dat er iets mis is.

  • De Liquid-template

    Shopify bouwt robots.txt op basis van een template. Door de standaardgroepen te behouden, blijven toekomstige Shopify-regels actief en komen jouw regels erbovenop.

  • Regels voor elke crawler

    Disallow-regels toegevoegd aan de groep voor alle crawlers (User-agent: *). Paden kunnen * als jokerteken gebruiken.

  • AI-crawlergroepen

    Elke geblokkeerde AI-crawler krijgt een eigen groep met Disallow: /. Training- en zoekcrawlers zijn gescheiden, omdat het blokkeren van zoekcrawlers je ook weghaalt uit AI-antwoorden.

  • Je huidige bestand

    Laad de live robots.txt van elke winkel om te zien of deze alles blokkeert, een sitemap bevat of al AI-crawlers tegenhoudt.

Waarom dit belangrijk is

De werking, geen loze kreten.

  • 01

    Filters zorgen voor een wildgroei aan pagina's

    Elke combinatie van kleur, maat en prijs vormt een nieuwe URL voor Google. Bij een grote catalogus verdringt dat de pagina's die je juist gevonden wilt laten worden.

  • 02

    AI-crawlers zijn nu een keuze

    Trainingscrawlers gebruiken je productteksten voor AI-modellen; zoekcrawlers sturen kopers vanuit AI-antwoorden door. Met robots.txt bepaal je dit per type.

  • 03

    Handmatig aanpassen gaat snel mis

    Als je de template vervangt door platte tekst, verlies je de regels van Shopify en toekomstige updates. Uitbreiden is de veilige manier.

Veelvoorkomende bevindingen

Veelvoorkomende robots.txt-fouten op Shopify

Vier problemen die het grootste deel verklaren van wat deze tool rapporteert in een Shopify-winkel.

De bevinding

De hele winkel is geblokkeerd

De oorzaak

Een achtergebleven Disallow: / van voor de lancering, of een winkel met wachtwoordbeveiliging.

De oplossing

Verwijder de regel en schakel het wachtwoord van de winkel uit via Onlinewinkel, Voorkeuren.

De bevinding

Standaardregels van Shopify ontbreken

De oorzaak

De template is vervangen door platte tekst in plaats van aangevuld.

De oplossing

Gebruik de template uit deze generator zodat de standaardgroepen weer terugkeren.

De bevinding

Geblokkeerde pagina's staan nog in Google

De oorzaak

robots.txt stopt het crawlen, niet het indexeren; reeds bekende pagina's kunnen zichtbaar blijven.

De oplossing

Gebruik een noindex-tag voor pagina's die uit de zoekresultaten moeten, en houd ze crawlbaar tot ze verdwijnen.

Beperkingen

Wat deze robots.txt-generator niet kan doen

Elke tool heeft zijn grenzen. Als je weet waar die liggen, voorkom je verkeerde conclusies.

  • robots.txt is een verzoek. Nette crawlers houden zich eraan, andere niet, en het is geen manier om privépagina's af te schermen.
  • Het stuurt het crawlen aan, niet de indexering. Gebruik noindex om een pagina uit de zoekresultaten te verwijderen.
Vragen

Over deze tool.

Mis je iets? Vraag het ons.

Laat dit liever continu draaien.

Installeer ShopSEO gratis, voer je eerste audit binnen een minuut uit en draai alles terug wat je niet bevalt. Geen creditcard, geen thema-aanpassingen, geen lock-in.

5.0op Shopify2 reviewsNieuw in de Shopify App StoreFree-abonnement, geen creditcard nodigPremium $19.99 per maand, gratis proefperiode van 7 dagen