דילוג לתוכן
ShopSEO
כלי בחינם

מחולל robots.txt ל-Shopify

בניית robots.txt ששומר על הכללים של Shopify ומוסיף כללים משלכם.

עמודי Shopify

חסימת עמודי קולקציה מסוננים

כתובות URL כמו collections/shirts?filter.v.size=M/. הן משכפלות את הקולקציה ומבזבזות תקציב סריקה.

חסימת עמודי ספקים וסוגי מוצרים

עמודי collections/vendors/ ו-collections/types/ האוטומטיים של Shopify, שבדרך כלל אין צורך לדרג בתוצאות חיפוש.

סורקי AI

חסימת סורקי אימון מודלים של AI

GPTBot, ClaudeBot, Google-Extended, CCBot וסורקים אחרים שאוספים עמודים לצורך אימון מודלים.

חסימת מנועי חיפוש ועוזרי AI

OAI-SearchBot, PerplexityBot ואחרים שסורקים עמודים כדי להציג תשובות לקונים. לרוב מומלץ להשאיר פתוח.

כללים מותאמים אישית

נתיב אחד בכל שורה. התו * מייצג כל מחרוזת, כך ש-/collections/test* חוסם כל קולקציה שמתחילה ב-test.
כתובת מלאה אחת בכל שורה. מפת האתר של Shopify כבר כלולה בפנים.

נוצר ישירות בדפדפן. כללי ברירת המחדל של Shopify נשארים בתוקף.

קובץ robots.txt.liquid

הכללים של Shopify ועוד 2 כללים נוספים

{% for group in robots.default_groups %}{{- group.user_agent }}{%- for rule in group.rules -%}{{ rule }}{%- endfor -%}{%- if group.user_agent.value == '*' -%}{{ 'Disallow: /collections/*filter.*' }}{{ 'Disallow: /*/collections/*filter.*' }}{%- endif -%}{%- if group.sitemap != blank -%}{{ group.sitemap }}{%- endif -%}{% endfor %}
  1. 1ב-Shopify, נכנסים אל חנות אונליין, ערכות עיצוב, ובוחרים באפשרות עריכת קוד בערכת העיצוב הפעילה.
  2. 2תחת Templates, בוחרים באפשרות הוספת תבנית חדשה, בוחרים robots.txt ויוצרים את הקובץ.
  3. 3מחליפים את התוכן בקוד שלמעלה ושומרים. כעבור דקה אפשר לבדוק את yourstore.com/robots.txt.

השוואה מול ה-robots.txt הנוכחי של החנות

טעינת ה-robots.txt שהחנות מציגה כרגע, כדי לראות מה כבר נחסם לפני שמחליפים אותו.

איך להשתמש בכלי

איך ליצור קובץ robots.txt עבור Shopify

  1. 1

    בחירת הכללים

    חסימת עמודים מסוננים, סורקי AI או כל נתיב מבוקש, והוספת מפות אתר נוספות.

  2. 2

    העתקת התבנית

    קבלת robots.txt.liquid ששומר על ברירות המחדל של Shopify ומוסיף רק את הכללים שלכם.

  3. 3

    הוספה לערכת העיצוב

    יצירת תבנית robots.txt בעורך הקוד של ערכת העיצוב, הדבקה ושמירה.

על הכלי

מה כולל מחולל ה-robots.txt

בחירת התוכן שסורקים לא ייגשו אליו, מעמודי קולקציה מסוננים ועד בוטים לאימון מודלי AI, וקבלת קובץ robots.txt.liquid מוכן להדבקה בערכת העיצוב. הקובץ שומר על כללי ברירת המחדל ש-Shopify מעדכנת עבורכם, ומוסיף את הכללים שלכם מעליהם. כולל גרסת robots.txt רגילה לאתרים בפלטפורמות אחרות.

  • שומר על כללי ברירת המחדל ש-Shopify מעדכנת
  • חוסם כתובות URL מסוננות ודפי קולקציה לפי ספק
  • חוסם בנפרד סורקים לאימון AI וסורקים לחיפוש AI
  • טוען את קובץ ה-robots.txt הנוכחי של החנות להשוואה
קריאת התוצאות

איך לקרוא את קובץ ה-robots.txt שנוצר

דוח שאי אפשר לפענח הוא פשוט דרך ארוכה לומר שמשהו לא תקין.

  • תבנית ה-Liquid

    Shopify בונה את robots.txt מתוך תבנית. שמירה על קבוצות ברירת המחדל מבטיחה שכל כלל ש-Shopify תוסיף בעתיד יישמר, כשהכללים שלכם מתווספים מעליו.

  • כללים לכל הסורקים

    שורות Disallow שנוספות לקבוצה עבור כל הסורקים (User-agent: *). נתיבים יכולים להשתמש ב-* כתו כללי (wildcard).

  • קבוצות לסורקי AI

    כל סורק AI חסום מקבל קבוצה משלו עם Disallow: /. סורקים לאימון וסורקים לחיפוש מופרדים, מכיוון שחסימת סורקי חיפוש תסתיר אתכם גם מתשובות AI.

  • הקובץ הנוכחי

    טעינת ה-robots.txt הפעיל של כל חנות כדי לראות אם הוא חוסם הכל, כולל מפת אתר או כבר חוסם סורקי AI.

למה זה חשוב

המנגנון הטכני, בלי קלישאות.

  • 01

    פילטרים מכפילים את העמודים

    כל שילוב של צבע, מידה ומחיר מייצר כתובת URL חדשה לסריקה על ידי Google. בקטלוג גדול זה דוחק את העמודים שבאמת רוצים שיימצאו.

  • 02

    סורקי AI הם עכשיו עניין של בחירה

    סורקים לאימון לוקחים את טקסט המוצרים עבור מודלים; סורקי חיפוש מביאים קונים מתשובות AI. קובץ robots.txt מאפשר לבחור בכל אחד בנפרד.

  • 03

    עריכת הקובץ ב-Shopify יכולה להשתבש בקלות

    החלפת התבנית בטקסט רגיל מוחקת את הכללים של Shopify ועדכונים עתידיים שלהם. הוספת כללים לתבנית היא הדרך הבטוחה.

ממצאים נפוצים

טעויות נפוצות ב-robots.txt ב-Shopify

ארבע בעיות שמסבירות את רוב מה שהכלי הזה מדווח בחנות Shopify.

הממצא

כל החנות חסומה

למה זה קורה

כלל Disallow: / שנשאר מלפני ההשקה, או חנות שמוגנת בסיסמה.

התיקון

הסרת הכלל, וכיבוי סיסמת החנות דרך חנות אונליין, העדפות.

הממצא

ברירות המחדל של Shopify חסרות

למה זה קורה

התבנית הוחלפה בטקסט רגיל במקום להוסיף עליה.

התיקון

התחלה מחדש מהתבנית של המחולל הזה כדי שקבוצות ברירת המחדל יחזרו.

הממצא

עמודים חסומים עדיין מופיעים ב-Google

למה זה קורה

robots.txt עוצר סריקה, לא אינדוקס; עמודים שכבר מוכרים יכולים להישאר רשומים.

התיקון

שימוש בתגית noindex עבור עמודים שחייבים לרדת מהחיפוש, והשארתם ניתנים לסריקה עד שייעלמו.

מגבלות

מה מחולל ה-robots.txt לא יכול לעשות

לכל כלי יש גבול. היכרות עם הגבולות מונעת פרשנות יתר של הנתונים.

  • robots.txt הוא בגדר בקשה. סורקים שמתנהגים כראוי מצייתים לו; אחרים לא, וזו אינה דרך להסתיר עמודים פרטיים.
  • הוא שולט בסריקה, לא באינדוקס. כדי להסיר עמוד מתוצאות חיפוש, יש להשתמש ב-noindex.
שאלות

על הכלי הזה.

חסר משהו? אפשר לשאול אותנו.

אפשר להריץ את זה באופן אוטומטי ושוטף.

מתקינים את ShopSEO בחינם, מריצים בדיקה ראשונה תוך פחות מדקה, ויכולים לבטל כל שינוי שלא מתאים. ללא כרטיס אשראי, ללא שינויים בערכת עיצוב וללא התחייבות.

5.0ב-Shopify2 ביקורותחדש ב-Shopify App Storeתוכנית Free, ללא כרטיס אשראיPremium ב-$19.99 לחודש, תקופת ניסיון בחינם ל-7 ימים