Shopify robots.txt generator
Maak een robots.txt die de Shopify-regels behoudt en jouw regels toevoegt.
Drie stappen, zonder account.
- 1
Kies je regels
Blokkeer gefilterde pagina's, AI-crawlers of specifieke paden, en voeg extra sitemaps toe.
- 2
Kopieer de template
Ontvang een robots.txt.liquid die de standaardregels van Shopify behoudt en alleen jouw regels toevoegt.
- 3
Voeg toe aan je thema
Maak de robots.txt-template aan in de code-editor van je thema, plak de code en sla op.
Wat het controleert
Kies wat crawlers niet mogen bezoeken, van gefilterde collectiepagina's tot AI-trainingsbots, en ontvang een robots.txt.liquid die je direct in je thema kunt plakken. Het behoudt de standaardregels van Shopify, die automatisch worden bijgewerkt, en voegt jouw eigen regels toe. Een platte robots.txt-versie is inbegrepen voor sites op andere platforms.
- Behoudt standaardregels van Shopify, bijgewerkt door Shopify
- Blokkeert gefilterde en leverancierscollectie-URL's
- Blokkeert crawlers voor AI-training of AI-zoekfuncties apart
- Laadt de huidige robots.txt van een winkel om te vergelijken
Wat elk getal betekent.
Een rapport dat je niet kunt interpreteren, is alleen maar een omslachtige manier om te zeggen dat er iets mis is.
De Liquid-template
Shopify bouwt robots.txt op basis van een template. Door de standaardgroepen te behouden, blijven toekomstige Shopify-regels actief en komen jouw regels erbovenop.
Regels voor elke crawler
Disallow-regels toegevoegd aan de groep voor alle crawlers (User-agent: *). Paden kunnen * als jokerteken gebruiken.
AI-crawlergroepen
Elke geblokkeerde AI-crawler krijgt een eigen groep met Disallow: /. Training- en zoekcrawlers zijn gescheiden, omdat het blokkeren van zoekcrawlers je ook weghaalt uit AI-antwoorden.
Je huidige bestand
Laad de live robots.txt van elke winkel om te zien of deze alles blokkeert, een sitemap bevat of al AI-crawlers tegenhoudt.
De werking, geen loze kreten.
- 01
Filters zorgen voor een wildgroei aan pagina's
Elke combinatie van kleur, maat en prijs vormt een nieuwe URL voor Google. Bij een grote catalogus verdringt dat de pagina's die je juist gevonden wilt laten worden.
- 02
AI-crawlers zijn nu een keuze
Trainingscrawlers gebruiken je productteksten voor AI-modellen; zoekcrawlers sturen kopers vanuit AI-antwoorden door. Met robots.txt bepaal je dit per type.
- 03
Handmatig aanpassen gaat snel mis
Als je de template vervangt door platte tekst, verlies je de regels van Shopify en toekomstige updates. Uitbreiden is de veilige manier.
Wat hier meestal uitkomt, en de oplossing.
Vier problemen die het grootste deel verklaren van wat deze tool rapporteert in een Shopify-winkel.
De bevinding
De hele winkel is geblokkeerd
De oorzaak
Een achtergebleven Disallow: / van voor de lancering, of een winkel met wachtwoordbeveiliging.
De oplossing
Verwijder de regel en schakel het wachtwoord van de winkel uit via Onlinewinkel, Voorkeuren.
De bevinding
Standaardregels van Shopify ontbreken
De oorzaak
De template is vervangen door platte tekst in plaats van aangevuld.
De oplossing
Gebruik de template uit deze generator zodat de standaardgroepen weer terugkeren.
De bevinding
Geblokkeerde pagina's staan nog in Google
De oorzaak
robots.txt stopt het crawlen, niet het indexeren; reeds bekende pagina's kunnen zichtbaar blijven.
De oplossing
Gebruik een noindex-tag voor pagina's die uit de zoekresultaten moeten, en houd ze crawlbaar tot ze verdwijnen.
Wat dit je niet vertelt.
Elke tool heeft zijn grenzen. Als je weet waar die liggen, voorkom je verkeerde conclusies.
- robots.txt is een verzoek. Nette crawlers houden zich eraan, andere niet, en het is geen manier om privépagina's af te schermen.
- Het stuurt het crawlen aan, niet de indexering. Gebruik noindex om een pagina uit de zoekresultaten te verwijderen.
Meer gratis tools.
Alle toolsLaat dit liever continu draaien.
Installeer ShopSEO gratis, voer je eerste audit binnen een minuut uit en draai alles terug wat je niet bevalt. Geen creditcard, geen thema-aanpassingen, geen lock-in.