מחולל robots.txt ל-Shopify
בניית robots.txt ששומר על הכללים של Shopify ומוסיף כללים משלכם.
עמודי Shopify
חסימת עמודי קולקציה מסוננים
כתובות URL כמו collections/shirts?filter.v.size=M/. הן משכפלות את הקולקציה ומבזבזות תקציב סריקה.
חסימת עמודי ספקים וסוגי מוצרים
עמודי collections/vendors/ ו-collections/types/ האוטומטיים של Shopify, שבדרך כלל אין צורך לדרג בתוצאות חיפוש.
סורקי AI
חסימת סורקי אימון מודלים של AI
GPTBot, ClaudeBot, Google-Extended, CCBot וסורקים אחרים שאוספים עמודים לצורך אימון מודלים.
חסימת מנועי חיפוש ועוזרי AI
OAI-SearchBot, PerplexityBot ואחרים שסורקים עמודים כדי להציג תשובות לקונים. לרוב מומלץ להשאיר פתוח.
כללים מותאמים אישית
נוצר ישירות בדפדפן. כללי ברירת המחדל של Shopify נשארים בתוקף.
קובץ robots.txt.liquid
הכללים של Shopify ועוד 2 כללים נוספים
- 1ב-Shopify, נכנסים אל חנות אונליין, ערכות עיצוב, ובוחרים באפשרות עריכת קוד בערכת העיצוב הפעילה.
- 2תחת Templates, בוחרים באפשרות הוספת תבנית חדשה, בוחרים robots.txt ויוצרים את הקובץ.
- 3מחליפים את התוכן בקוד שלמעלה ושומרים. כעבור דקה אפשר לבדוק את yourstore.com/robots.txt.
השוואה מול ה-robots.txt הנוכחי של החנות
טעינת ה-robots.txt שהחנות מציגה כרגע, כדי לראות מה כבר נחסם לפני שמחליפים אותו.
איך ליצור קובץ robots.txt עבור Shopify
- 1
בחירת הכללים
חסימת עמודים מסוננים, סורקי AI או כל נתיב מבוקש, והוספת מפות אתר נוספות.
- 2
העתקת התבנית
קבלת robots.txt.liquid ששומר על ברירות המחדל של Shopify ומוסיף רק את הכללים שלכם.
- 3
הוספה לערכת העיצוב
יצירת תבנית robots.txt בעורך הקוד של ערכת העיצוב, הדבקה ושמירה.
מה כולל מחולל ה-robots.txt
בחירת התוכן שסורקים לא ייגשו אליו, מעמודי קולקציה מסוננים ועד בוטים לאימון מודלי AI, וקבלת קובץ robots.txt.liquid מוכן להדבקה בערכת העיצוב. הקובץ שומר על כללי ברירת המחדל ש-Shopify מעדכנת עבורכם, ומוסיף את הכללים שלכם מעליהם. כולל גרסת robots.txt רגילה לאתרים בפלטפורמות אחרות.
- שומר על כללי ברירת המחדל ש-Shopify מעדכנת
- חוסם כתובות URL מסוננות ודפי קולקציה לפי ספק
- חוסם בנפרד סורקים לאימון AI וסורקים לחיפוש AI
- טוען את קובץ ה-robots.txt הנוכחי של החנות להשוואה
איך לקרוא את קובץ ה-robots.txt שנוצר
דוח שאי אפשר לפענח הוא פשוט דרך ארוכה לומר שמשהו לא תקין.
תבנית ה-Liquid
Shopify בונה את robots.txt מתוך תבנית. שמירה על קבוצות ברירת המחדל מבטיחה שכל כלל ש-Shopify תוסיף בעתיד יישמר, כשהכללים שלכם מתווספים מעליו.
כללים לכל הסורקים
שורות Disallow שנוספות לקבוצה עבור כל הסורקים (User-agent: *). נתיבים יכולים להשתמש ב-* כתו כללי (wildcard).
קבוצות לסורקי AI
כל סורק AI חסום מקבל קבוצה משלו עם Disallow: /. סורקים לאימון וסורקים לחיפוש מופרדים, מכיוון שחסימת סורקי חיפוש תסתיר אתכם גם מתשובות AI.
הקובץ הנוכחי
טעינת ה-robots.txt הפעיל של כל חנות כדי לראות אם הוא חוסם הכל, כולל מפת אתר או כבר חוסם סורקי AI.
המנגנון הטכני, בלי קלישאות.
- 01
פילטרים מכפילים את העמודים
כל שילוב של צבע, מידה ומחיר מייצר כתובת URL חדשה לסריקה על ידי Google. בקטלוג גדול זה דוחק את העמודים שבאמת רוצים שיימצאו.
- 02
סורקי AI הם עכשיו עניין של בחירה
סורקים לאימון לוקחים את טקסט המוצרים עבור מודלים; סורקי חיפוש מביאים קונים מתשובות AI. קובץ robots.txt מאפשר לבחור בכל אחד בנפרד.
- 03
עריכת הקובץ ב-Shopify יכולה להשתבש בקלות
החלפת התבנית בטקסט רגיל מוחקת את הכללים של Shopify ועדכונים עתידיים שלהם. הוספת כללים לתבנית היא הדרך הבטוחה.
טעויות נפוצות ב-robots.txt ב-Shopify
ארבע בעיות שמסבירות את רוב מה שהכלי הזה מדווח בחנות Shopify.
הממצא
כל החנות חסומה
למה זה קורה
כלל Disallow: / שנשאר מלפני ההשקה, או חנות שמוגנת בסיסמה.
התיקון
הסרת הכלל, וכיבוי סיסמת החנות דרך חנות אונליין, העדפות.
הממצא
ברירות המחדל של Shopify חסרות
למה זה קורה
התבנית הוחלפה בטקסט רגיל במקום להוסיף עליה.
התיקון
התחלה מחדש מהתבנית של המחולל הזה כדי שקבוצות ברירת המחדל יחזרו.
הממצא
עמודים חסומים עדיין מופיעים ב-Google
למה זה קורה
robots.txt עוצר סריקה, לא אינדוקס; עמודים שכבר מוכרים יכולים להישאר רשומים.
התיקון
שימוש בתגית noindex עבור עמודים שחייבים לרדת מהחיפוש, והשארתם ניתנים לסריקה עד שייעלמו.
מה מחולל ה-robots.txt לא יכול לעשות
לכל כלי יש גבול. היכרות עם הגבולות מונעת פרשנות יתר של הנתונים.
- robots.txt הוא בגדר בקשה. סורקים שמתנהגים כראוי מצייתים לו; אחרים לא, וזו אינה דרך להסתיר עמודים פרטיים.
- הוא שולט בסריקה, לא באינדוקס. כדי להסיר עמוד מתוצאות חיפוש, יש להשתמש ב-noindex.
אפשר להריץ את זה באופן אוטומטי ושוטף.
מתקינים את ShopSEO בחינם, מריצים בדיקה ראשונה תוך פחות מדקה, ויכולים לבטל כל שינוי שלא מתאים. ללא כרטיס אשראי, ללא שינויים בערכת עיצוב וללא התחייבות.