Shopify robots.txt generator
Maak een robots.txt die de Shopify-regels behoudt en jouw regels toevoegt.
Shopify-pagina's
Gefilterde collectiepagina's blokkeren
URL's zoals /collections/shirts?filter.v.size=M. Ze dupliceren de collectie en verspillen crawlbudget.
Leveranciers- en typepagina's blokkeren
Shopify's automatische /collections/vendors- en /collections/types-pagina's, die zelden waardevol zijn voor zoekresultaten.
AI-crawlers
AI-trainingscrawlers blokkeren
GPTBot, ClaudeBot, Google-Extended, CCBot en andere bots die pagina's verzamelen om modellen te trainen.
AI-zoekmachines en assistenten blokkeren
OAI-SearchBot, PerplexityBot en andere bots die pagina's ophalen om vragen van shoppers te beantwoorden. Meestal handig om open te laten.
Je eigen regels
Gemaakt in je browser. Shopify's eigen regels blijven gewoon actief.
Je robots.txt.liquid
Shopify-regels plus 2 eigen regels
- 1Ga in Shopify naar Onlinewinkel, Thema's, en kies Code bewerken bij je actieve thema.
- 2Kies onder Sjablonen voor Een nieuw sjabloon toevoegen, kies robots.txt en maak dit aan.
- 3Vervang de inhoud door de bovenstaande code en sla op. Controleer na een minuut jouwwinkel.nl/robots.txt.
Vergelijken met de huidige robots.txt van een winkel
Laad het actuele robots.txt-bestand van een winkel om te zien wat er al wordt geblokkeerd voordat je het vervangt.
Zo maak je een robots.txt-bestand voor Shopify
- 1
Kies je regels
Blokkeer gefilterde pagina's, AI-crawlers of specifieke paden, en voeg extra sitemaps toe.
- 2
Kopieer de template
Ontvang een robots.txt.liquid die de standaardregels van Shopify behoudt en alleen jouw regels toevoegt.
- 3
Voeg toe aan je thema
Maak de robots.txt-template aan in de code-editor van je thema, plak de code en sla op.
Wat deze robots.txt-generator bevat
Kies wat crawlers niet mogen bezoeken, van gefilterde collectiepagina's tot AI-trainingsbots, en ontvang een robots.txt.liquid die je direct in je thema kunt plakken. Het behoudt de standaardregels van Shopify, die automatisch worden bijgewerkt, en voegt jouw eigen regels toe. Een platte robots.txt-versie is inbegrepen voor sites op andere platforms.
- Behoudt standaardregels van Shopify, bijgewerkt door Shopify
- Blokkeert gefilterde en leverancierscollectie-URL's
- Blokkeert crawlers voor AI-training of AI-zoekfuncties apart
- Laadt de huidige robots.txt van een winkel om te vergelijken
Zo lees je de gegenereerde robots.txt
Een rapport dat je niet kunt interpreteren, is alleen maar een omslachtige manier om te zeggen dat er iets mis is.
De Liquid-template
Shopify bouwt robots.txt op basis van een template. Door de standaardgroepen te behouden, blijven toekomstige Shopify-regels actief en komen jouw regels erbovenop.
Regels voor elke crawler
Disallow-regels toegevoegd aan de groep voor alle crawlers (User-agent: *). Paden kunnen * als jokerteken gebruiken.
AI-crawlergroepen
Elke geblokkeerde AI-crawler krijgt een eigen groep met Disallow: /. Training- en zoekcrawlers zijn gescheiden, omdat het blokkeren van zoekcrawlers je ook weghaalt uit AI-antwoorden.
Je huidige bestand
Laad de live robots.txt van elke winkel om te zien of deze alles blokkeert, een sitemap bevat of al AI-crawlers tegenhoudt.
De werking, geen loze kreten.
- 01
Filters zorgen voor een wildgroei aan pagina's
Elke combinatie van kleur, maat en prijs vormt een nieuwe URL voor Google. Bij een grote catalogus verdringt dat de pagina's die je juist gevonden wilt laten worden.
- 02
AI-crawlers zijn nu een keuze
Trainingscrawlers gebruiken je productteksten voor AI-modellen; zoekcrawlers sturen kopers vanuit AI-antwoorden door. Met robots.txt bepaal je dit per type.
- 03
Handmatig aanpassen gaat snel mis
Als je de template vervangt door platte tekst, verlies je de regels van Shopify en toekomstige updates. Uitbreiden is de veilige manier.
Veelvoorkomende robots.txt-fouten op Shopify
Vier problemen die het grootste deel verklaren van wat deze tool rapporteert in een Shopify-winkel.
De bevinding
De hele winkel is geblokkeerd
De oorzaak
Een achtergebleven Disallow: / van voor de lancering, of een winkel met wachtwoordbeveiliging.
De oplossing
Verwijder de regel en schakel het wachtwoord van de winkel uit via Onlinewinkel, Voorkeuren.
De bevinding
Standaardregels van Shopify ontbreken
De oorzaak
De template is vervangen door platte tekst in plaats van aangevuld.
De oplossing
Gebruik de template uit deze generator zodat de standaardgroepen weer terugkeren.
De bevinding
Geblokkeerde pagina's staan nog in Google
De oorzaak
robots.txt stopt het crawlen, niet het indexeren; reeds bekende pagina's kunnen zichtbaar blijven.
De oplossing
Gebruik een noindex-tag voor pagina's die uit de zoekresultaten moeten, en houd ze crawlbaar tot ze verdwijnen.
Wat deze robots.txt-generator niet kan doen
Elke tool heeft zijn grenzen. Als je weet waar die liggen, voorkom je verkeerde conclusies.
- robots.txt is een verzoek. Nette crawlers houden zich eraan, andere niet, en het is geen manier om privépagina's af te schermen.
- Het stuurt het crawlen aan, niet de indexering. Gebruik noindex om een pagina uit de zoekresultaten te verwijderen.
Laat dit liever continu draaien.
Installeer ShopSEO gratis, voer je eerste audit binnen een minuut uit en draai alles terug wat je niet bevalt. Geen creditcard, geen thema-aanpassingen, geen lock-in.