Siirry sisältöön
ShopSEO
Ilmainen työkalu

Shopifyn robots.txt-generaattori

Luo robots.txt, joka säilyttää Shopifyn säännöt ja lisää omasi.

Shopify-sivut

Estä suodatetut kokoelmasivut

Osoitteet kuten /collections/paidat?filter.v.size=M. Ne monistavat kokoelmasivua ja kuluttavat indeksointia turhaan.

Estä valmistaja- ja tuotetyyppisivut

Shopifyn automaattiset /collections/vendors- ja /collections/types-sivut, joita ei yleensä kannata saada hakutuloksiin.

Tekoälybotit

Estä tekoälyn koulutusrobotit

GPTBot, ClaudeBot, Google-Extended, CCBot ja muut botit, jotka keräävät sivuja mallien opettamiseen.

Estä tekoälyhaut ja -avustajat

OAI-SearchBot, PerplexityBot ja muut botit, jotka hakevat sivuja vastatakseen ostajille. Nämä kannattaa yleensä pitää sallittuina.

Omat säännöt

Yksi polku riviä kohden. Merkki * vastaa mitä tahansa, joten /collections/test* estää jokaisen test-alkuisen kokoelman.
Yksi täysi osoite riviä kohden. Shopifyn oma sivukartta on jo mukana.

Luodaan suoraan selaimessasi. Shopifyn omat säännöt säilyvät.

robots.txt.liquid-tiedostosi

Shopifyn säännöt ja 2 omaa sääntöä

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1Siirry Shopifyssa kohtaan Verkkokauppa, Teemat ja valitse julkaistun teeman kohdalta Muokkaa koodia.
  2. 2Valitse kohdasta Mallit (Templates) Lisää uusi malli, valitse robots.txt ja luo se.
  3. 3Korvaa sen sisältö yllä olevalla koodilla ja tallenna. Tarkista osoite kauppasi.fi/robots.txt hetken kuluttua.

Vertaa kaupan nykyiseen robots.txt-tiedostoon

Tarkista kaupan nykyinen robots.txt nähdäksesi, mitä se jo estää ennen kuin korvaat sen.

Käyttöohje

Näin luot robots.txt-tiedoston Shopifyhin

  1. 1

    Valitse säännöt

    Estä suodatetut sivut, tekoälybotit tai mikä tahansa polku, ja lisää ylimääräiset sivukartat.

  2. 2

    Kopioi mallipohja

    Saat robots.txt.liquid-tiedoston, joka säilyttää Shopifyn oletukset ja lisää vain omat sääntösi.

  3. 3

    Lisää se teemaasi

    Luo robots.txt-mallipohja teemasi koodieditorissa, liitä koodi ja tallenna.

Tietoa työkalusta

Mitä tämä robots.txt-generaattori sisältää

Valitse, mihin hakurobotit eivät pääse suodatetuista kokoelmasivuista tekoälybotteihin, ja saat teemaasi valmiin robots.txt.liquid-tiedoston. Se säilyttää Shopifyn oletussäännöt, joita Shopify päivittää puolestasi, ja lisää omat sääntösi niiden päälle. Mukana on myös tavallinen robots.txt-versio muille alustoille.

  • Säilyttää Shopifyn oletussäännöt, joita Shopify päivittää
  • Estää suodatetut ja valmistajakohtaiset kokoelma-URL:t
  • Estää tekoälyn koulutus- tai hakurobotit erikseen
  • Lataa kaupan nykyisen robots.txt-tiedoston vertailua varten
Tulosten lukeminen

Miten tulkita luotua robots.txt-tiedostoa

Raportti, jota ei osaa tulkita, on vain monisanaisempi tapa kertoa jonkin olevan vialla.

  • Liquid-mallipohja

    Shopify rakentaa robots.txt-tiedoston mallipohjasta. Oletusryhmien säilyttäminen varmistaa, että saat kaikki Shopifyn myöhemmin lisäämät säännöt omien sääntöjesi pohjalle.

  • Säännöt kaikille hakuroboteille

    Kaikille hakuroboteille tarkoitetut Disallow-rivit lisätään ryhmään User-agent: *. Poluissa voi käyttää jokerimerkkiä *.

  • Tekoälybottien ryhmät

    Jokainen estetty tekoälybotti saa oman ryhmänsä säännöllä Disallow: /. Koulutus- ja hakurobotit pidetään erillään, koska hakurobottien estäminen piilottaa sivuston myös tekoälyvastauksista.

  • Nykyinen tiedostosi

    Lataa minkä tahansa kaupan julkinen robots.txt ja tarkista, estääkö se kaiken, sisältääkö se sivukartan tai estääkö se jo tekoälybotit.

Miksi tällä on merkitystä

Vaikutusmekanismi latteuksien sijaan.

  • 01

    Suodattimet moninkertaistavat sivumäärän

    Jokainen värin, koon ja hinnan yhdistelmä on uusi URL-osoite Googlen haravoitavaksi. Suuressa tuotevalikoimassa tämä vie tilaa tärkeiltä sivuilta.

  • 02

    Tekoälybotteihin voi nyt vaikuttaa

    Koulutusbotit hyödyntävät tuotetekstejäsi mallien opetukseen, kun taas hakurobotit tuovat ostajia tekoälyvastauksista. robots.txt antaa valita molemmat erikseen.

  • 03

    Shopifyn tiedoston muokkaus menee helposti pieleen

    Mallipohjan korvaaminen tavallisella tekstillä poistaa Shopifyn oletussäännöt ja tulevat päivitykset. Niiden täydentäminen on turvallinen tapa.

Yleiset havainnot

Yleiset robots.txt-virheet Shopifyssa

Neljä ongelmaa, jotka selittävät valtaosan siitä, mitä tämä työkalu Shopify-kaupassa raportoi.

Havainto

Koko kauppa on estetty

Mistä se johtuu

Ennen julkaisua jäänyt sääntö Disallow: / tai salasanalla suojattu kauppa.

Korjaus

Poista sääntö ja poista kaupan salasana käytöstä kohdassa Verkkokauppa, Asetukset.

Havainto

Shopifyn oletukset puuttuvat

Mistä se johtuu

Mallipohja korvattiin pelkällä tekstillä sen sijaan, että siihen olisi lisätty sääntöjä.

Korjaus

Aloita tämän työkalun mallipohjasta, jotta oletusryhmät palautuvat.

Havainto

Estetyt sivut näkyvät edelleen Googlessa

Mistä se johtuu

robots.txt estää vain sivujen haravoinnin, ei indeksointia. Aiemmin löydetyt sivut voivat pysyä hakutuloksissa.

Korjaus

Käytä noindex-tunnistetta sivuille, joiden haluat poistuvan hakutuloksista, ja salli niiden haravointi, kunnes ne poistuvat.

Rajoitukset

Mitä tämä robots.txt-generaattori ei voi tehdä

Jokaisella työkalulla on rajansa. Kun tiedät ne, et tee tuloksista vääriä johtopäätöksiä.

  • robots.txt on pyyntö. Asialliset hakurobotit noudattavat sitä, mutta kaikki eivät, eikä se sovellu yksityisten sivujen piilottamiseen.
  • Se hallitsee haravointia, ei indeksointia. Jos haluat poistaa sivun hakutuloksista, käytä noindex-tunnistetta.
Kysymyksiä

Tästä työkalusta.

Puuttuuko jotain? Kysy meiltä.

Ota jatkuva tarkistus käyttöön.

Asenna ShopSEO ilmaiseksi, tee ensimmäinen tarkastus alle minuutissa ja peruuta kaikki muutokset, joista et pidä. Ei luottokorttia, ei teeman muokkauksia, ei sitoutumista.

5.0Shopifyssa2 arvosteluaUusi Shopify App StoressaFree-paketti, luottokorttia ei tarvitaPremium $19.99 kuukaudessa, 7 päivän ilmainen kokeilujakso