מחולל robots.txt ל-Shopify
בניית robots.txt ששומר על הכללים של Shopify ומוסיף כללים משלכם.
שלושה שלבים, בלי לפתוח חשבון.
- 1
בחירת הכללים
חסימת עמודים מסוננים, סורקי AI או כל נתיב מבוקש, והוספת מפות אתר נוספות.
- 2
העתקת התבנית
קבלת robots.txt.liquid ששומר על ברירות המחדל של Shopify ומוסיף רק את הכללים שלכם.
- 3
הוספה לערכת העיצוב
יצירת תבנית robots.txt בעורך הקוד של ערכת העיצוב, הדבקה ושמירה.
מה הכלי בודק
בחירת התוכן שסורקים לא ייגשו אליו, מעמודי קולקציה מסוננים ועד בוטים לאימון מודלי AI, וקבלת קובץ robots.txt.liquid מוכן להדבקה בערכת העיצוב. הקובץ שומר על כללי ברירת המחדל ש-Shopify מעדכנת עבורכם, ומוסיף את הכללים שלכם מעליהם. כולל גרסת robots.txt רגילה לאתרים בפלטפורמות אחרות.
- שומר על כללי ברירת המחדל ש-Shopify מעדכנת
- חוסם כתובות URL מסוננות ודפי קולקציה לפי ספק
- חוסם בנפרד סורקים לאימון AI וסורקים לחיפוש AI
- טוען את קובץ ה-robots.txt הנוכחי של החנות להשוואה
מה כל נתון אומר.
דוח שאי אפשר לפענח הוא פשוט דרך ארוכה לומר שמשהו לא תקין.
תבנית ה-Liquid
Shopify בונה את robots.txt מתוך תבנית. שמירה על קבוצות ברירת המחדל מבטיחה שכל כלל ש-Shopify תוסיף בעתיד יישמר, כשהכללים שלכם מתווספים מעליו.
כללים לכל הסורקים
שורות Disallow שנוספות לקבוצה עבור כל הסורקים (User-agent: *). נתיבים יכולים להשתמש ב-* כתו כללי (wildcard).
קבוצות לסורקי AI
כל סורק AI חסום מקבל קבוצה משלו עם Disallow: /. סורקים לאימון וסורקים לחיפוש מופרדים, מכיוון שחסימת סורקי חיפוש תסתיר אתכם גם מתשובות AI.
הקובץ הנוכחי
טעינת ה-robots.txt הפעיל של כל חנות כדי לראות אם הוא חוסם הכל, כולל מפת אתר או כבר חוסם סורקי AI.
המנגנון הטכני, בלי קלישאות.
- 01
פילטרים מכפילים את העמודים
כל שילוב של צבע, מידה ומחיר מייצר כתובת URL חדשה לסריקה על ידי Google. בקטלוג גדול זה דוחק את העמודים שבאמת רוצים שיימצאו.
- 02
סורקי AI הם עכשיו עניין של בחירה
סורקים לאימון לוקחים את טקסט המוצרים עבור מודלים; סורקי חיפוש מביאים קונים מתשובות AI. קובץ robots.txt מאפשר לבחור בכל אחד בנפרד.
- 03
עריכת הקובץ ב-Shopify יכולה להשתבש בקלות
החלפת התבנית בטקסט רגיל מוחקת את הכללים של Shopify ועדכונים עתידיים שלהם. הוספת כללים לתבנית היא הדרך הבטוחה.
מה שבדרך כלל עולה בבדיקה, ואיך מתקנים.
ארבע בעיות שמסבירות את רוב מה שהכלי הזה מדווח בחנות Shopify.
הממצא
כל החנות חסומה
למה זה קורה
כלל Disallow: / שנשאר מלפני ההשקה, או חנות שמוגנת בסיסמה.
התיקון
הסרת הכלל, וכיבוי סיסמת החנות דרך חנות אונליין, העדפות.
הממצא
ברירות המחדל של Shopify חסרות
למה זה קורה
התבנית הוחלפה בטקסט רגיל במקום להוסיף עליה.
התיקון
התחלה מחדש מהתבנית של המחולל הזה כדי שקבוצות ברירת המחדל יחזרו.
הממצא
עמודים חסומים עדיין מופיעים ב-Google
למה זה קורה
robots.txt עוצר סריקה, לא אינדוקס; עמודים שכבר מוכרים יכולים להישאר רשומים.
התיקון
שימוש בתגית noindex עבור עמודים שחייבים לרדת מהחיפוש, והשארתם ניתנים לסריקה עד שייעלמו.
מה הכלי הזה לא יגיד.
לכל כלי יש גבול. היכרות עם הגבולות מונעת פרשנות יתר של הנתונים.
- robots.txt הוא בגדר בקשה. סורקים שמתנהגים כראוי מצייתים לו; אחרים לא, וזו אינה דרך להסתיר עמודים פרטיים.
- הוא שולט בסריקה, לא באינדוקס. כדי להסיר עמוד מתוצאות חיפוש, יש להשתמש ב-noindex.
אפשר להריץ את זה באופן אוטומטי ושוטף.
מתקינים את ShopSEO בחינם, מריצים בדיקה ראשונה תוך פחות מדקה, ויכולים לבטל כל שינוי שלא מתאים. ללא כרטיס אשראי, ללא שינויים בערכת עיצוב וללא התחייבות.