يقوم ملف robots.txt بإخبار عناكب البحث بعدم الزحف إلى صفحات مُعينة أو أقسام مُحددة من موقع الويب، وجميع مُحركات البحث مُهيئة ومُعدة لكي تتعرف على طلبات ملف الروبوتس وقراءها واحترام أوامرها.
ويُساعد ملف robots.txt على إدارة أنشطة عناكب البحث أثناء زحفها إلى موقع ما، بحيث لا تتسبب في ضغط على خادم الويب الذي يستضيف ملفات موقع الويب.
كما يُساعد ايضاً على تحديد الصفحات المؤهلة للفهرسة من قبل مالك الموقع، حتى لا تقوم العناكب بفهرسة الصفحات الغير مُخصصة للعرض العام.
ما أهمية ملف robots.txt؟
في العادة، لا تحتاج مُعظم مواقع الويب إلى ملف robots.txt، لأن مُحركات البحث يُمكنها عادة العثور على جميع صفحات الموقع والزحف إليها وفهرستها.
ولكن لن تقوم عناكب الزحف من تجاهل فهرسة الصفحات الغير مُهمة أو النُسخ المُكررة من الصفحات الأخرى.
ولذلك، فهُناك عدة أسباب رئيسية تدفع مُلاك المواقع ومُشرفيها لاستخدام ملف robots.txt وتهيأتها:
1- حظر الصفحات الخاصة: في الكثير من الأحيان، تحتوي مواقع الويب على بعض الصفحات التي يرى مالك الموقع أنه من غير الضروري فهرستها.
مثل صفحة تسجيل الدخول على سبيل المثال، في هذه الحالة، يكون استخدام ملف robots.txt أمراً لا غنى عنه لأخبار عناكب الزحف من تجاهل هذه الصفحة.
2- زيادة مُعدلات الزحف إلى الحد الأقصى: احياناً قد يواجه مُلاك المواقع ومُشرفيها صعوبات في فهرسة جميع صفحات موقعهم، بسبب مواجهة مشاكل في مُعدلات الزحف إلى صفحات الموقع.
لأن عناكب البحث تزحف إلى صفحات غير مُهمة وغير ضروري فهرستها، ولكن يُمكن لبرنامج جوجل بوت Googlebot انفاق مُعدلات الزحف إلى الموقع، إلى الصفحات المُهمة فقط.
3- منع فهرسة الملفات والموارد: من خلال هذا الملف أيضاً، يُمكن اخبار عناكب البحث بعدم الزحف إلى الملفات والموارد الموجودة على الموقع.
كالصور، الفيديوهات، الملفات الصوتية، وملفات المُستندات (PDF, and Doc)، وتوفير الزحف لصفحات المحتوى الذي يرغب مالك الموقع بالفعل فهرستها.
ويُمكن الإطلاع على تعليمات عناكب البحث من خلال ملف robots.txt عن طريق الولوج إلى الرابط التالي:
كما يُمنك لمُلاك المواقع ومُشرفيها التحقق من عدد الصفحات التي قامت عناكب البحث بفهرستها عن طريق أدوات مُشرفي المواقع والتي توفرها جميع مُحركات البحث للمُستخدمين.
على سبيل المثال، في الصور التالية نجد تقارير الصفحات المُفهرسة على مُحرك البحث جوجل، وبينج من مايكروسوفت.
يُمكنك التحقق من عدد الصفحات التي فهرستها عناكب البحث على مُحرك البحث جوجل، عن طريق (جوجل سيرش كونسول “Google Search Console“).
يُمكنك التحقق من عدد الصفحات التي فهرستها عناكب البحث على مُحرك البحث بينج وياهو، عن طريق (بينج ويب ماستر “Bing webmaster Tools“).
وبعد اطلاعك على تقارير التغطية في أدوات مُشرفي المواقع، إذا كان رقم الصفحات المُفهرسة يتطابق مع عدد الصفحات التي تريد فهرستها، فلا داعي للقلق بخصوص ملف robots.txt.
كيفية عمل ملف robots.txt؟
ملف روبوتس تكست هو عبارة عن ملف نصي لا يحتوي على أكواد برمجية، وإنما يحتوي على سطور أوامر يُخبر بها عناكب البحث الطُرق التي يُمكنها الزحف إليها داخل صفحات وهيكل موقع الويب.
ويتم استضافة الملف على خادم موقع الويب web server مثله مثل أي ملف آخر، وامتداد الملف .txt ما يؤكد أنه ملف نصي وليس برمجي.
ويُمكن الإطلاع على ملف robots.txt لأ موقع ويب على شبكة الإنترنت، عن طريق كتابة عنوان رابط الموقع URL واضافة /robots.txt في آخره، على سبيل المثال: ملف روبوت تكست موقع سيوهاب
وبالطبع لا تقوم مُحركات البحث بفهرسة رابط ملف الروبوتس، كما أنه غير مُرتبط على الإطلاق بأي من صفحات الويب داخل الموقع، مما يعني استحالة وصول المُستخدمين والزوار إليه بأي طريقة، سوى كتابة الرابط مُباشرة في شريط العنوان في المُتصفح.
ولأن هذا الملف هو بمثابة ملف إرشادي لعناكب وروبوتات البحث، فتقوم عناكب البحث بالزحف إلى هذا الرابط أولاً لأخذ تعليمات الزحف منه قبل البدء في زحفها إلى باقي صفحات الموقع لفهرستها.
وإذا وجدت العناكب أوامر مُتناقضة في الملف، فستقوم باتباع الأوامر الأكثر منطقية والأشد دقة، وملف ارشادات عناكب البحث هذا، خاص بالنطاق الرئيسي فقط.
أي انه في حالة وجود نطاقات فرعية من النطاق الرئيسي لموقعك، فيلزم لكل نطاق فرعي ملف روبوتس تكست، فعلى سبيل المثال، النطاق التالي: https://www.seohunar.com يلزمه وحده ملف robots.txt، وإذا تفرع منه نطاق آخر، مثل:
كيف تُنشئ وتُحرر ملف robots.txt؟
يُمكنك انشاء ملف robots.txt وتحريره باستخدام مُحرر النصوص العادي Text Document، مع تسمية الملف robots.txt ولكن مع مُراعاة كتابة الحروف بنفس الطريقة، جميعها حروف صغيرة.
حيث أن ملفات الأوامر والأكواد البرمجية حساسة للحروف، فإذا سُمي الملف Robots.txt على سبيل المثال، فسيكون ملف آخر ليس له علاقة بالملف المقصود، وبالتالي لن تتعرف عليه عناكب البحث للإطلاع على أوامر وإرشادات الزحف.
بعد ذلك اكتب الأوامر داخل الملف على النحو التالي:
إذا كُنت ترغب في زحف عناكب البحث إلى جميع صفحات الموقع:
User-agent: * Disallow:
ومعنى الأمر السابق، أن وكيل المُستخدم يُخبر عناكب البحث، أنه لا توجد صفحات غير مسموح بالزحف إليها، مما يعني الزحف إلى جميع صفحات الموقع بلا استثناء.
أما إذا كُنت ترغب في اخبار عناكب البحث بعدم الزحف إلى رابط مُعين، والسماح بالزحف إلى باقي الصفحات:
User-agent: * Disallow: /search Allow: /
ومعنى الأمر السابق، أن وكيل المُستخدم يُخبر عناكب البحث، بأن لا يقوم بالزحف إلى جميع الروابط التي تحتوي على /search في بنيتها، من خلال الأمر Disallow: /search، مع السماح بالزحف إلى باقي صفحات الموقع من خلال الأمر Allow: /.
ومن المُستحسن بالطبع، أن تقوم بتضمين ملف خريطة الموقع sitemap إلى ملف robots.txt لتُخبر العناكب بزيارة رابط خريطة الموقع للإطلاع عليها والزحف إلى جميع الروابط الموجودة به.
ليكون شكل الملف النهائي كالتالي:
User-agent: * Disallow: /search Allow: / Sitemap: https://www.seohubar.com/sitemap.xml
ومن الواضح الآن، أن إنشاء ملف robots.txt وتعديله، مُمكناً في أي وقت وليس بالأمر الصعب، ولكن من المُهم أن تُفكر جيداً وتُقرر أن كل ما ترغب في تحقيقه من هذا الإجراء هو تحقيق الإستفادة القُصوى من زيارات زاحف البحث، عن طريق منعهم من رؤية الصفحات الغير هام فهرستها.
تذكير: يُعتبر إعداد ملف robots.txt من أفضل المُمارسات التي ينبغي فعلها لتحسين مُحركات البحث، مع التأكذ أن المُحتوى الرئيسي لموقعك والذي ترغب أن يصل إليه الجمهور قابل للفهرسة والزحف.
وبذلك ستضمن أن الوقت الذي ستقضيه روبوتات عناكب البحث في الزحف إلى موقع الويب، سيكون أكثر ربحية، ويُحقق أقصى استفادة ممكنه، لأنها ستزحف فقط إلى الصفحات التي يُهمك أرشفتها وضمها إلى فهرس مُحرك البحث.
قابلية صفحات الويب للفهرسة والزحف
يُمكنك التأكد من صلاحية ملف robots.txt وقابلية صفحات موقعك لزحف عناكب البحث إليها، قبل أن تقوم برفع الملف إلى المُجلد الرئيسي لموقعك على خادم الويب ( السيرفر “webserver”)، عن طريق (أداة اختبار الروبوتس “robots testing tools“) التي توفرها جوجل.
اكتب امتداد رابط الصفحة التي ترغب في الكشف عن قابلية الزحف إليها في صندوق الرابط أسفل الصفحة، واختر روبوت جوجل الذي ترغب في اختبار زحفه إلى الصحفة، ثم اضغط على Test.
إذا كانت الصفحة مؤهلة للزحف، فسيظهر شريط أخضر على أمر Allow، أما إذا كانت الصحفة محظور الزحف إليها بواسطة ملف robots.txt فسوف يظهر شريط أحمر على أمر Disallow كما موضح في الصورة السابقة.
الخُلاصة
ملف روبوتس تكست، يُعطي أوامر مُباشرة لعناكب البحث لاتباعها والعمل بها أثناء زحفها إلى صفحات الموقع، لذلك يُعتبر من المُمارسات المُهمة الواجب اتباعها بعناية شديدة عند العمل على السيو لتحسين موقعك وتهيئته إلى مُحركات البحث.
ومن الضروري التأكد من صلاحية وصول الروبوتات كما شرحنا سابقاً، لضمان فهرسة صفحات موقعك، وعدم حدوث أخطاء في الفهرسة.
