طريقة الاستخدام
- 1اختر قالبًا: السماح للكل، أو حظر الكل، أو ووردبريس، أو متجر، أو حظر روبوتات الذكاء الاصطناعي.
- 2أضف قواعد مخصصة لكل زاحف حسب الحاجة.
- 3أدخل Crawl-delay وروابط Sitemap.
- 4انسخ الملف أو نزّله وارفعه إلى جذر موقعك.
حظر روبوتات الذكاء الاصطناعي
يضيف قالب حظر الذكاء الاصطناعي قواعد لزواحف GPTBot وCCBot وGoogle-Extended وClaudeBot وPerplexityBot وBytespider. هذا يطلب منها عدم استخدام محتواك، دون التأثير على ظهورك في نتائج Google العادية.
قوالب ووردبريس والمتاجر
قالب ووردبريس يحظر لوحة wp-admin مع السماح بملف admin-ajax.php الذي تحتاجه بعض الإضافات. وقالب المتاجر يحظر صفحات السلة والدفع والحساب ونتائج البحث الداخلي التي لا فائدة من أرشفتها.
ملاحظة حول Crawl-delay
تحترم بعض محركات البحث مثل Bing قاعدة Crawl-delay، أما Google فيتجاهلها. استخدمها فقط إذا كانت الاستضافة ضعيفة وتتأثر بكثرة الزحف.
الأسئلة الشائعة
هل يمنع robots.txt ظهور الصفحة في Google؟
لا بالضرورة؛ قد تظهر الصفحة المحظورة بدون وصف إذا كانت عليها روابط. لإخفائها تمامًا استخدم noindex.
أين أرفع الملف؟
إلى جذر الدومين بحيث يفتح على example.com/robots.txt.
كيف أتأكد أن الملف يعمل؟
استخدم أداة اختبار robots.txt لدينا لاختبار أي مسار مع Googlebot.
النتائج غير مرضية؟
تواصل مع Webin Agency لمواقع سريعة متوافقة مع السيو، ومتاجر إلكترونية، وإدارة إعلانات Google.