أداة إنشاء robots.txt لمتجر Shopify
أنشئ ملف robots.txt يحافظ على قواعد Shopify ويضيف قواعدك الخاصة.
صفحات Shopify
حظر صفحات المجموعات المفلترة
عناوين URL مثل /collections/shirts?filter.v.size=M، حيث تكرر محتوى المجموعة وتستهلك ميزانية الزحف دون فائدة.
حظر صفحات الموردين وأنواع المنتجات
صفحات /collections/vendors و/collections/types التلقائية في Shopify، والتي نادرًا ما تستحق التصدر في نتائج البحث.
زواحف AI
حظر زواحف تدريب نماذج AI
بوتات GPTBot وClaudeBot وGoogle-Extended وCCBot وغيرها من الأدوات التي تجمع الصفحات لتدريب النماذج.
حظر محركات بحث ومساعدي AI
بوتات OAI-SearchBot وPerplexityBot وغيرها من البرامج التي تجلب الصفحات للإجابة عن أسئلة المتسوقين. يُفضل عادةً تركها مفتوحة.
قواعدك المخصصة
يتم إنشاؤه داخل متصفحك مباشرة. وتظل قواعد Shopify الأساسية سارية.
ملف robots.txt.liquid الخاص بك
قواعد Shopify وقاعدتان إضافيتان منك
- 1في لوحة تحكم Shopify، انتقل إلى «المتجر الإلكتروني» ثم «القوالب»، واختر «تعديل الرمز البرمجي» في قالبك المنشور.
- 2ضمن «Templates»، اختر «إضافة قالب جديد»، وحدد robots.txt، ثم أنشئه.
- 3استبدل محتواه بالرمز البرمجي أعلاه واحفظ التغييرات. تحقق من yourstore.com/robots.txt بعد دقيقة واحدة.
مقارنة مع ملف robots.txt الحالي للمتجر
تحميل ملف robots.txt الحالي للمتجر، لمعرفة ما يحظره بالفعل قبل استبداله.
طريقة إنشاء ملف robots.txt لمتجر Shopify
- 1
اختر القواعد
احظر الصفحات المصفاة، أو روبوتات AI، أو أي مسار تحدده، وأضف خرائط مواقع إضافية.
- 2
انسخ النموذج
احصل على ملف robots.txt.liquid يحتفظ بإعدادات Shopify الافتراضية ويضيف قواعدك فقط.
- 3
أضفه إلى قالبك
أنشئ نموذج robots.txt في محرر التعليمات البرمجية لقالبك، والصق الرمز، ثم احفظ.
ما يتضمنه مولد ملفات robots.txt
حدد ما تريد حظره عن روبوتات الفهرسة، من صفحات المجموعات المصفاة إلى روبوتات تدريب برامج AI، واحصل على ملف robots.txt.liquid جاهز للصق في قالب متجرك. يحافظ الملف على قواعد Shopify الافتراضية التي يتم تحديثها تلقائيًا، ويضيف قواعدك إليها. تتوفر أيضًا نسخة نصية عادية للمتاجر على المنصات الأخرى.
- يحتفظ بقواعد Shopify الافتراضية المحدثة باستمرار
- يحظر روابط المجموعات المصفاة وروابط البائعين
- يحظر روبوتات تدريب AI أو محركات بحث AI بشكل منفصل
- يجلب ملف robots.txt الحالي للمتجر للمقارنة
طريقة قراءة ملف robots.txt المُنشأ
التقرير الذي لا يمكنك تفسيره ليس سوى وسيلة أطول للقول بوجود مشكلة.
نموذج Liquid
ينشئ Shopify ملف robots.txt من نموذج برمجي. الحفاظ على المجموعات الافتراضية يضمن تطبيق أي قاعدة تضيفها Shopify لاحقًا، مع وضع قواعدك في الأعلى.
قواعد لجميع برامج الفهرسة
أوامر Disallow تضاف للمجموعة الموجهة لجميع الروبوتات (* :User-agent). يمكن استخدام * كرمز بديل في المسارات.
مجموعات روبوتات AI
يحصل كل روبوت AI محظور على مجموعته الخاصة مع Disallow: /. يتم فصل روبوتات التدريب عن روبوتات البحث، لأن حظر روبوتات البحث يمنع ظهور متجرك في إجابات AI.
ملف المتجر الحالي
افحص ملف robots.txt المباشر لأي متجر لمعرفة ما إذا كان يحظر كل شيء، أو يتضمن خريطة موقع، أو يحظر بالفعل روبوتات AI.
الأثر التقني الفعلي، بعيدًا عن الكلام العام.
- 01
الفلاتر تضاعف صفحاتك
كل مزيج من خيارات اللون والمقاس والسعر ينشئ رابط URL جديد يزحف إليه Google. في الكتالوجات الكبيرة، قد يؤدي ذلك إلى تشتيت الزحف عن الصفحات المهمة.
- 02
روبوتات AI أصبحت خيارًا لك
تنسخ روبوتات التدريب بيانات منتجاتك لتدريب النماذج، بينما تجلب روبوتات البحث المشترين من إجابات AI. يتيح ملف robots.txt التحكم في كل منهما بشكل منفصل.
- 03
تعديل ملف Shopify مباشرة قد يسبب مشاكل
استبدال النموذج بنص عادي يؤدي إلى فقدان قواعد Shopify وتحديثاتها المستقبلية. الإضافة فوق النموذج هي الطريقة الآمنة.
أخطاء robots.txt الشائعة في Shopify
أربع مشكلات تفسر أغلب ما يظهره هذا الفحص في أي متجر Shopify.
الملاحظة
حظر المتجر بالكامل
سبب المشكلة
وجود أمر Disallow: / سابق من مرحلة ما قبل الإطلاق، أو تفعيل كلمة مرور حماية المتجر.
طريقة الإصلاح
احذف القاعدة، وأوقف تفعيل كلمة مرور المتجر عبر Online Store ثم Preferences.
الملاحظة
فقدان قواعد Shopify الافتراضية
سبب المشكلة
استبدال النموذج بنص ثابت بدلاً من الإضافة إليه.
طريقة الإصلاح
ابدأ بنموذج هذه الأداة لاستعادة المجموعات الافتراضية بشكل صحيح.
الملاحظة
ظهور الصفحات المحظورة في Google
سبب المشكلة
يمنع robots.txt الزحف لا الفهرسة؛ والصفحات المعروفة مسبقًا قد تظل مدرجة.
طريقة الإصلاح
استخدم وسم noindex للصفحات المراد حذفها من البحث، واتركها قابلة للزحف حتى تختفي من النتائج.
ما لا يستطيع مولد robots.txt فعله
لكل أداة نطاق محدد. معرفة حدودها يجنبك الاستنتاجات الخاطئة.
- ملف robots.txt هو مجرد توجيه اختياري. تحترمه الروبوتات الموثوقة بينما تتجاهله أخرى، وهو ليس وسيلة لحجب الصفحات الخاصة.
- يتحكم الملف في عمليات الزحف وليس الفهرسة. لإزالة صفحة من نتائج البحث، استخدم noindex.
تشغيل هذا التدقيق بصفة مستمرة بدلًا من ذلك.
ثبّتوا ShopSEO مجانًا، وأجروا أول فحص خلال أقل من دقيقة، وتراجعوا عن أي تعديل لا يناسبكم. دون بطاقة ائتمان، ودون تعديل على القالب، ودون أي التزام.