افتح القائمة الرئيسية

معيار استبعاد الروبوتات ويعرف باسم آخر وهو بروتكول استبعاد الروبوتات (بالإنجليزية: Robots exclusion standard أو robots exclusion protocol أو ببساطة robots.txt) وهو معيار يستخدم بواسطة أي موقع ويب للاتصال بزاحف الشبكة Web crawler أو أي روبوت موقع آخر، يحدد المعيار كيفية إبلاغ أي روبوت على شبكة الإنترنت عن الأماكن التي لا ينبغي أن تتم معالجتها أو المناطق التي لا يجب معرفتها، الروبوتات تستخدم بواسطة محركات البحث لكي تستطيع عمل تصنيف للمواقع، ليس كل الروبوتات تتعاون مع المعايير والمقاييس الدولية مثل حصاد البريد الإلكتروني وسبام بوت والبرمجيات الخبيثة، والروبوتات التي تبحث عن وتفحص الثغرات الأمنية، معيار استبعاد الروبوتات مقترن دائما بخريطة الموقع

محتويات

نبذة تاريخيةعدل

تم إقتراح هذا المعيار بواسطة مارتن كوستر،[1][2] عندما كان يعمل في نكسر [الإنجليزية]،[3] في فبراير 1994.[4]

حول هذا المعيارعدل

بعض محركات البحث الرئيسية تشمل هذا المعيار مثل بينج[5] ومحرك بحث ياهو! الذي تم ضمه لبينج وإيه أو إل[6] ومحرك بحث جوجل ومحرك بحث ياندكس وأسك دوت كوم،[7] ومحرك بحث بيدو.[8]

أمثلةعدل

بعض الأمثلة على قدرات وما يتم كتابته في هذا الملف كالتالي:
مثال 1
يعطى ما هو مكتوب في المثال التالي قدرة على زيارة كل الروبوتات الموقع، الويلدكارد [الإنجليزية] (*) تعني كل ملفات الموقع وكلمة Disallow تعني عدم سماحية لكل الروبوتات
User-agent: *
Disallow:
نفس النتيجة يمكن أن تتحقق مع ملف robots.txt فارغ
مثال 3
المثال التالي يمنع الروبوتات من دخول ثلاث مجلدات (دليل):
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
مثال 4
المثال التالي لا يسمح بالتعامل مع ملف معين
User-agent: *
Disallow: /directory/file.html
لاحظ أن جميع الملفات الأخرى في الدليل المحدد سوف تتم معالجتها.
مثال 5
المثال التالي يمنع روبوت معين سيء من التعامل مع موقع الويب
User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
Disallow: /
مثال 6
المثال التالي لاثنين من الروبوتات محدديين لعدم الدخول لدليل واحد محدد:
User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
User-agent: Googlebot
Disallow: /private/
ملاحظة: يمكن استخدام هذه الطريقة لمنع البوتات لمحركات البحث عند عمل تطوير موقع وحتى الإنتهاء من تطويره حتى لا تلاحظ محركات البحث ذلك التغير ويتأثر الموقع

مثال 7

المثال التالي يوضح كيفية إظهار تعليقات comments يمكن استخدامها بدون تأثير نهائيا:
# Comments appear after the "#" symbol at the start of a line, or after a directive
User-agent: * # match all bots
Disallow: / # keep them out

انظر أيضاعدل

مصادر ومراجععدل

  1. ^ Martijn، Koster. "Martijn Koster". مؤرشف من الأصل في 23 سبتمبر 2018. 
  2. ^ Fielding، Roy (1994). "Maintaining Distributed Hypertext Infostructures: Welcome to MOMspider's Web". First International Conference on the World Wide Web. Geneva. مؤرشف من الأصل (PostScript) في 20 نوفمبر 2017. اطلع عليه بتاريخ September 25, 2013. 
  3. ^ "The Web Robots Pages". Robotstxt.org. 1994-06-30. مؤرشف من الأصل في 03 مايو 2019. اطلع عليه بتاريخ 29 ديسمبر 2013. 
  4. ^ Koster، Martijn (25 February 1994). "Important: Spiders, Robots and Web Wanderers". www-talk mailing list. مؤرشف من الأصل (Hypermail archived message) في October 29, 2013.  نسخة محفوظة 14 مارس 2015 على موقع واي باك مشين.
  5. ^ "Robots Exclusion Protocol: joining together to provide better documentation". مؤرشف من الأصل في 26 مارس 2019. اطلع عليه بتاريخ 16 فبراير 2013. 
  6. ^ "About AOL Search". مؤرشف من الأصل في 06 يونيو 2017. اطلع عليه بتاريخ 16 فبراير 2013. 
  7. ^ "About Ask.com: Webmasters". مؤرشف من الأصل في 28 مارس 2013. اطلع عليه بتاريخ 16 فبراير 2013. 
  8. ^ "Baiduspider". مؤرشف من الأصل في 06 أغسطس 2013. اطلع عليه بتاريخ 16 فبراير 2013.