مشاركة # 1 | 20:15 24.12.2013
مرحباً اصدقائى , موضوع قرأته فوجدته مفيداً فوددت ان اضعه لكم لتعم الفائدة الجميع,

من الأمور الرائعة أن تزور عناكب البحث صفحات موقعك بشكل مستمر لتقوم بفهرستها ,

لكن المشكل المطروح يظهر عندما تقوم هذه العناكب بفهرسة ما لا ترغب أنت بفهرسته.

فعلى سبيل المثال لو كان لديك نسختين من صفحة معينة على موقعك،

إحداهما أصلية للعرض و الأخرى للطباعة،

فمن المهم جدا أن تستثني إحدى النسختين من الفهرسة حتى لا تنطبق عليك سياسة المحتوى المكرر.

كما أنه في بعض الحالات قد ترغب في ترك بعض الصفحات مخفية عن عيون عناكب البحث،

و غالبا ما تكون صفحات لها علاقة بإدارة موقعك،

كلوحة التحكم و غيرها،

كل ذلك ممكن عن طريق إخبار محركات البحث بما ليس هناك داعي لفهرسته،

لكن كيف يتم ذلك ؟

هناك طريقة وحيدة تستطيع من خلالها التواصل مع محركات البحث و إخبارها بما يجب فهرسته،

و ما لا يجب فهرسته،

باستخدام ملفrobots.txt،

فما حقيقة هذا الملف يا ترى ؟

ما هو ملف Robots.txt ؟

ملفrobots.txtهو ملف مهم جدا بالنسبة للمواقع،

فهو عبارة عن ملف نصي يمكن تحريره بأي محرر للنصوص (Notepad) مثلا،

يتمثل دوره الأساسي في حجب موقع معين أو صفحة معينة عن محركات البحث،

و بالتالي استبعادها من عملية الفهرسة بحيث تصبح و كأنها غير موجودة

(يمكن تشبيهه بدور حارس المتحف، يسمح بالدخول لأروقة معينة و يمنع الدخول لأخرى)

إشارة : قبل دخول عناكب البحث لموقعك، تتحقق أولا من وجود ملف robots.txt الذي يمنعها من الوصول لصفحات معينة.

فوائد ملف Robots.txt :

من المفيد جدا استخدام ملفrobots.txtو ذالك راجع للأسباب التالية :

1. منع محركات البحث من فهرسة المواقع أو الصفحات التي لا تزال تحت الإنشاء؛

2. حجب الصفحات المتشابهة تفاديا لمشاكل المحتوى المكرر؛

3. حماية بعض المعلومات الحساسة، من خلال منع فهرستها من قبل عناكب البحث…

أضرار ملف Robots.txt :

لا أحد ينكر الفوائد الجمة التي يوفرها ملفrobots.txtللمواقع،

لكن مع ذلك هناك بعض السلبيات من رواء استخدام هذا الملف،

فلو كانت لديك بعض الملفات الخاصة لا تريد استعراضها أو فهرستها من قبل محركات البحث،

فلا تعتمد على الملف المذكور في الأمر،

لأنه من السهل جدا معرفة هذه الملفات الخاصة من خلال استعراض ملف،

خصوصا و أن عنوانه معروف، واحد لا يتغير، كما سنرى في الفقرة القادمة إن شاء الله.

مكان تواجد ملف Robots.txt :

يتم رفع ملفrobots.txtداخل المجلد الرئيسي لموقعك،

root أو www أو home أو public_htmlحسب سيرفر موقعك، بحيث يكون رابط الملف على الشكل التالي :
كود:
http://www.sitename.com/robots.txt

حيث أن sitename تمثل اسم موقعك.
إشارة : إذا تم وضع ملف robots.txt داخل مجلد فرعي، و ليس بالمجلد الرئيسي كما سبقت الإشارة إلى ذالك، فإن محركات البحث ستفترض أن هذا الملف غير موجود.

إنشاء ملف Robots.txt :

إن إنشاء ملفrobots.txtأمر سهل و بسيط للغاية،

فيمكنك إنشاء هذا الملف بواسطة أي محرر للنصوص لديك،

على أن يكون اسم الملفrobots (حروف صغيرة)،

و بالامتدادtxt. ثم ضع بداخله الأكواد التالية حسب حاجتك :
كود:
User-agent: *
هذا الكود مفاده توجيه محركات البحث إلى موقعك،

يكون دائما في بداية الملف،

و قد وضعت النجمة (*) بعده للدلالة على أن كل محركات البحث معنية كمحرك جوجل،بينج، ياهو…،

أما إذا أردت تخصيص محرك بحث معين فضع مكان النجمة اسم المحرك، كمثال على ذلك :
كود:
User-agent: Googlebot
مفاد هذا الكود أن المعلومات الموجودة بملفrobots.txt مخصصة لمحرك البحث جوجل فقط.
كود:
Disallow:

يقوم هذا الكود بمنع محركات البحث من فهرسة بعض أو كل الملفات داخل موقعك،

فلو أردت مثلا حجب كل الملفات فالكود سيكون بهذا الشكل :
كود:
Disallow : /
كود:

أما إذا أردت مثلا حجب قسم معين عن محركات البحث،

فالأمر سيختلف ليكون الكود بهذا الشكل :
كود:
Disallow: /admin/

الآن لن يسمح لمحركات البحث بالزحف إلى المجلدadminوهكذا.

يمكنك أيضا منع محركات البحث من الزحف إلى ملف معين داخل قسم محدد، على الشكل التالي :
كود:
Disallow: /world/login.html

المثال السابق معناه، أنه مسموح لمحركات البحث فهرسة جميع محتويات المجلدworld، باستثناء الملفlogin.html.

تنبيه : يجب الحذر عند كتابة هذه الأسطر فمثلا إذا نسيت كتابة / فسيتحول الأمر الى ترحيب بمحركات البحث ودعوة لزيارة المواقع بدلا من حجبها.

كذلك الأمر بالنسبة للصور،

يمكنك منع فهرستها من قبل محركات البحث،

على سبيل المثال لو أردنا منع فهرسة الصور ذات الامتدادpng.

فالأمر سيكون بهذا الشكل :
كود:
Disallow: /*.png$

لاحظ وجود النقطة قبل الامتداد و علامة الدولار بعده، أما النجمة فتعني أي شيء.
كود:
Allow:
كود:
هذا الكود يسمح لنا بتحديد المجلدات أو الملفات المسموح بزيارتها من قبل المحركات،

فمثلا لو أردنا حجب جميع محتويات الموقع عن جميع محركات البحث،

فلا شك أن الكود سيكون هكذا :
كود:
use-agent : *
Disallow : /

اكتفى بهذا القدر, ولو انت قد استوعبت هذا الشرح فستصل بموقعك ان شاء الله الى النجاح , فانا مثلا عندما فهمت ذلك وطبقته بصورة جيدة اصبح موقعى يحتل المراكز الاولى فى محركات البحث .
ادعو الله لكم بالتوفيق والتميز