الروبوتات

Cloudflare تطلق نظاماً للمساءلة المستمرة للروبوتات الموثقة

تحديد هوية الروبوت لا يكفي لضمان سلوكه المسؤول. تطلق Cloudflare آلية جديدة لتقييم مدى التزام الروبوتات الموثقة بتفضيلات المواقع بشكل مستمر، مما يحوّل الثقة من مجرد هوية إلى سلوك موثوق.

رضوان عبدالهاديمحرر وكاتب تقني

نُشر: 16 أكتوبر 2026 · آخر تحديث: 16 أكتوبر 2026 · 6 دقائق قراءة

Cloudflare تطلق نظاماً للمساءلة المستمرة للروبوتات الموثقة — الصورة: Cloudflare Blog

الخلاصة

تقدم Cloudflare نظاماً لتقييم سلوك الروبوتات الموثقة باستمرار، بدلاً من الاعتماد على التحقق من الهوية فقط.
يركز النظام على قياس مدى احترام الروبوتات لتفضيلات المواقع، مثل ملفات robots.txt واستجابات HTTP 429.
يتم تصنيف الروبوتات ضمن نطاقات ثقة قابلة للتفسير بناءً على سلوكها المتكرر، وليس على أحكام دائمة.
تخطط Cloudflare لجعل هذه التقييمات متاحة للعملاء، مما يتيح لهم تحديد عتبات الثقة للتعامل مع حركة المرور الآلية.
يأتي هذا النظام ضمن حلقة مساءلة أوسع تشمل Bot Preference Sync و Bot Management لضمان الشفافية.

من الهوية إلى السلوك: ضرورة جديدة في عالم الروبوتات

تشبه عملية التحقق من هوية الروبوتات امتحان القيادة؛ فهي تثبت أن المشغل معروف وقادر على القيادة، لكنها لا تضمن أنه سيواصل القيادة بمسؤولية في المستقبل. تواجه Cloudflare تحدياً متزايداً مع انتشار الروبوتات التي قد تتجاهل تفضيلات المواقع أو تفرض أحمالاً زائدة على الخوادم، حتى لو كانت هويتها موثقة. لذلك، تركز الشركة على الانتقال من مجرد سؤال "من أنت؟" إلى سؤال "هل يمكننا الوثوق بك؟"، حيث لا يكفي التحقق من الهوية لضمان السلوك المسؤول، بل يجب مراقبة الأفعال المستمرة.

تستند هذه المبادرة إلى مبادئ سبق أن وضعتها Cloudflare في مقال سابق حول سلوك الروبوتات، حيث حددت معيارين أساسيين: التحقق من الهوية والموثوقية. يتطلب الحصول على وضع "روبوت موثق" لدى Cloudflare استخدام بروتوكول Web Bot Auth لتوقيع الطلبات، مما يسمح لنظام BotBase بتسجيل هذه الهويات في صيغة مفتوحة. ومع معالجة جانب الهوية، ينصب التركيز الآن على القاعدة الذهبية الثانية: عدم التسبب في أي ضرر. الهدف هو ضمان أن الإجابة على سؤال الموثوقية تبقى "نعم" عبر الزمن، وليس مجرد لحظة التحقق الأولية.

الفرق بين المخاطر والثقة: معايير التقييم

يبرز التمييز الدقيق بين مفهوم المخاطر (Risk) ومفهوم الثقة (Trust) في هذا النظام. فالمخاطر تصف احتمالية أن يكون طلب معين أو إجراء لحظي ضاراً، وهي قد تتغير من لحظة لأخرى. أما الثقة، فهي تُبنى عبر الزمن من خلال سلوك متكرر ومتسق. على سبيل المثال، قامت Cloudflare بإزالة روبوت شركة Perplexity من قائمة الروبوتات الموثقة في عام 2025 بعد أن حاول الوصول إلى موارد مواقع اختارت عدم السماح بالزحف، ثم حاول التحايل على الضوابط عندما تم حظر طلباته. هذا الحدث يوضح كيف يمكن لسلوك واحد خاطئ أن يقوض الثقة المكتسبة.

تقوم Cloudflare بتطوير نظام يقيس مدى التزام الزاحف (Crawler) بتفضيلات الموقع. يتم تحويل هذه الملاحظات إلى "نطاق ثقة" (Trust band) قابل للتفسير، يعرض مدى اتساق الروبوت في احترام التفضيلات والأدلة السلوكية التي استندت إليها التقييم، بدلاً من إصدار حكم دائم على الروبوت أو مشغله. هذا النهج يمنح مشغلي الروبوتات المسؤولة وسيلة لإثبات أنهم يحافظون على الثقة عبر الزمن، مع التأكيد على مبدأ "تحقق، ولكن أعد التحقق باستمرار".

احترام تفضيلات المواقع: robots.txt كخط دفاع أول

تعتبر ملفات robots.txt الطريقة الأساسية لتواصل أصحاب المواقع مع الروبوتات بشأن تفضيلاتهم. يقيس النظام الجديد ما إذا كانت حركة المرور المرصودة للروبوت متسقة مع هذه التفضيلات المنشورة عبر الزمن. لا يبحث النظام عن المخالفات المعزولة أو الأحداث الفردية التي قد تكون غير مهمة، بل يراقب الأنماط السلوكية المتكررة التي تتجاهل تفضيلات الموقع. التوقع البسيط هو أن الروبوتات المسؤولة تستشير هذه التفضيلات وتحترمها، وفقاً للمعايير الدولية مثل RFC 9309.

من المهم التأكيد على أن ملف robots.txt يحدد الحد الأدنى من القواعد لما يجب ألا يفعله الروبوت، لكنه لا يعني أن أي شيء غير مذكور هو مسموح به. على سبيل المثال، لا يحتاج ملف robots.txt إلى ذكر صريح أن الروبوت يجب أن يتوقف عندما يوضح الموقع أن الوصول المستمر غير مرغوب فيه عبر إشارات أخرى. إن تجاهل هذه الإشارات أو تجاوز الحدود المرسومة يقوض الثقة، وهو ما يسعى النظام الجديد لرصده وتقييمه بدقة.

استجابة إشارات التحذير: دور HTTP 429

يمكن للروبوتات أن تبقى ضمن المسارات المسموح بها تماماً، ومع ذلك تفرض حملاً كبيراً على المواقع التي تزورها. من أوضح الطرق التي يمكن للموقع من خلالها التعبير عن اعتراضه هو إرسال استجابة HTTP 429 ("عدد كبير جداً من الطلبات"). تعتبر هذه الاستجابة توجيهاً للزائر لتقليل معدل إرسال الطلبات، وغالباً ما تتضمن إرشادات حول المدة التي يجب انتظارها قبل المحاولة مرة أخرى.

ينظر النظام في ما إذا كانت حركة مرور الروبوت تتكيف بعد استلام هذا الإشارة. هل يتباطأ الروبوت؟ هل يتوقف مؤقتاً؟ أم يستمر في إرسال الطلبات بنفس الوتيرة؟ يتم دمج هذا السلوك في نطاق ثقة الروبوت عبر الزمن؛ فالتباطؤ أو التوقف باستمرار يزيد من مستوى الثقة، بينما يتجاهل الإشارة بشكل متكرر يخفضه. هذا يضمن أن الروبوتات التي تحترم إشارات التحذير تُكافأ بثقة أعلى،而那些 التي تتجاهلها تُعامل بحذر أكبر.

حلقة المساءلة: تكامل الأدوات والسياسات

إن مراقبة هذه الإشارات هي مجرد خطوة أولى نحو جعل الأتمتة الموثقة مسؤولة عبر الزمن. من خلال ربط هوية الروبوت بأدلة على سلوكه المستمر، يمكن لمنصات مثل Cloudflare أن تمنح أصحاب المواقع ثقة أكبر في أن الروبوتات التي يختارون السماح لها باحترام تفضيلاتهم. كما يوفر النظام لمشغلي الروبوتات وسيلة لإثبات أنهم يستحقون الثقة، ويوفر سياقاً لأصحاب المواقع حول حركة المرور الآلية التي تصل إليهم.

يشكل هذا النظام، جنباً إلى جنب مع أدوات Bot Preference Sync و Bot Management، حلقة مساءلة شاملة لحركة المرور الآلية. يساعد Bot Preference Sync أصحاب المواقع على نشر تفضيلاتهم، بينما يكشف رصد تفاعل الروبوتات مع هذه التفضيلات عما إذا كانت الروبوتات الموثقة تحترمها باستمرار. أما Bot Management فيتيح لأصحاب المواقع اتخاذ قرارات حول كيفية التعامل مع هذه الحركة. معاً، تضمن هذه الأدوات أن الثقة تُكسب من خلال سلوك شفاف ومسؤول، وليس من خلال افتراضها بناءً على الهوية وحدها.

الطريق نحو الشفافية العامة

تستخدم Cloudflare هذا النظام داخلياً بالفعل لتقييم مدى اتساق الروبوتات الموثقة في احترام تفضيلات المواقع. وبما أن الثقة تُبنى عبر الزمن، فإن التقييم يركز على الأنماط المستمرة بدلاً من الأحداث المعزولة. في هذه المرحلة الأولية، تعمل الشركة على بناء سجل تاريخي وتحسين كيفية تحويل هذه الملاحظات إلى إرشادات مفيدة. وبناءً على هذا الأساس، تخطط Cloudflare لجعل النظام متاحاً لجميع عملائها، مما سيتيح لهم اختيار عتبات الثقة المستخدمة في تحديد كيفية التعامل مع حركة مرور الروبوتات الموثقة.

الهدف النهائي واضح ومباشر: الحفاظ على معنى تفضيلات المواقع، وضمان أن الثقة تُكسب من خلال سلوك مستدام. سيتم مشاركة هذه التقييمات علنياً على منصة Radar، مما يوفر رؤية شفافة حول سلوك الروبوتات في الشبكة. كما ستوسع Cloudflare طرق القياس في المستقبل، مما يضمن أن النظام يتطور مع تغير سلوك الروبوتات والتحديات الجديدة في عالم الويب.