كيف يمكنك إنشاء ملف Robots.txt لمدونة بلوجر

في هذه المقالة سوف نعرف ما هو ملف Robots.txt ؟

هو ملف يتم انشائه على الصفحة الرئيسية لموقعك والذي يقوم بدوره بتوجيه روبوتات وعناكب البحث إلى موقعك 

حيث يخبر هذا الملف عناكب البحث بان هذه الصفحات هي التي سوف يتم ارشفتها

كيف يمكنك إنشاء ملف Robots.txt لمدونات بلوجر 

نقوم بالبدء في كتابة أوامر ملف Robots.txt

لنفرض وجود موقع رابطه الرئيسي هو start-product-activate.com وهنالك صفحة تسمى blog

للدخول لهذه الصفحة تحتاج الانتقال الى هذا الرابط start-product-activate.com/blog  اليس كذلك؟

الأن نريد حظر محركات البحث من الدخول الى هذه الصفحة وأرشفة محتوياته،

 سنقوم بكتابة التالي داخل ملف الربوت

User-agent: Googlebot 

Disallow: /blog

الشرح :
السطر الأول نعلم فيه محرك البحث جوجل  بالأوامر التي تلي هذا السطر

السطر الثاني نخبر محرك البحث جوجل بعدم السماح بأرشفة الصفحة blog ومحتوياتها الفرعية من خلال Disallow

يمكنك أيضاً إستخدام علامة النجمة (*) للدلالة عن كل محركات البحث 

 مثلاً تريد ان يتم تطبيق هذه التعليمات على جميع محركات البحث سوف تستخدم هذه العلامة 

 ليصبح كالتالي

:User-agent: * 

Disallow: /blog


أفضل  إعدادات ملف Robots.txt

في حالة اذا كنت لا تود حظر أيا من محركات البحث من ارشفة مسار أي صفحة فالكود التالي يمكنك إستخدامه في موقعك من دون أي مشاكل 

:User-agent: * 

Allow: / 

 Sitemap: http://www.domin.com/sitemap.xml


الشرح :
السطر الأول عبارة عن أمر لجميع محركات البحث بتطبيق الأوامر التي بأسفله.

السطر الثاني يخبر محركات البحث بالسماح بأرشفة جميع الصفحات الموجودة في الموقع.

السطر الثالث هام جدا لأرشفة الموقع بسرعة هو تقديم خريطة الموقع وهو يساعد بسرعة في أرشفة موقك خاصة أذا كنت قد قمت بإضافة هذه الخريطة إلى ادوات مشرفي المواقع بمحركات البحث الشهيرة مثل جوجل وبينج وياندكس 

اقرأ أيضا : شرح أدوات مشرفي المواقع للمبتدئين