مايكروسوفت تحوّل تدرّب الوكلاء عبر مكافآت قواعد البيانات
اعتمدت مايكروسوفت على تقييم النتائج الفعلية في قواعد البيانات بدلاً من الاعتماد على إجابات الوكلاء النصية، لتحسين موثوقية نماذج الذكاء الاصطناعي في المهام المعقدة.
رضوان عبدالهاديمحرر وكاتب تقني
من التقييم إلى التدريب: تحويل الأخطاء إلى مكافآت
أعلنت مايكروسوفت عن إطلاق نظام ThinkingBox-Training على GitHub، وهو امتداد مباشر لمنصتها التقييمية ThinkingBox. الفكرة الجوهرية هنا ليست مجرد تقييم أداء الوكلاء، بل تحويل نتائج هذا التقييم إلى إشارات مكافأة (Rewards) تستخدم في مرحلة ما بعد التدريب (Post-Training). بدلاً من الاعتماد على تقييمات نصية قد تكون غامضة، يعتمد النظام على التحقق التنفيذي من الحالة النهائية لقاعدة البيانات، مما يوفر إشارة ثنائية واضحة (صحيح أو خاطئ) يمكن للنموذج التعلم منها مباشرة. ويمكن الرجوع إلى Hugging Face Blog للاطلاع على التفاصيل الأصلية للمصدر.
يهدف هذا النهج إلى معالجة مشكلة شائعة في الوكلاء الحاليين: الادعاء بإتمام المهمة بينما تبقى أخطاء في البيانات الأساسية. من خلال استخدام حالة قاعدة البيانات كمعيار للحقيقة، يستطيع النموذج التمييز بين الإجراء الصحيح والإجراء الخاطئ بدقة عالية، مما يحسن من قدرته على التعامل مع المهام التي تتطلب دقة في تحديث السجلات.
آلية العمل: التحقق من الحالة النهائية
يعمل نظام ThinkingBox من خلال منح الوكيل واجهة خلفية حقيقية ومجموعة من الأدوات (MCP Tools)، ثم يسمح له بالعمل على المهمة. بعد انتهاء المهمة، لا يقيّم النظام خطوات الوكيل أو استدعاءاته للأدوات، بل يفحص السجلات الفعلية في قاعدة البيانات للتأكد من مطابقتها للنتيجة المتوقعة. هذا التصميم يشجع النموذج على اكتشاف مسارات حل جديدة وفعالة بدلاً من محاولة إعادة اكتشاف الحل البشري الذي قد يكون صحيحاً لكنه غير مثالي.
في منشورهم السابق، رصدت مايكروسوفت حالات حيث أغلق نموذج تذكرة عميل كـ"محلولة" بينما كانت استثناءات الناقل المرتبطة بها لا تزال مفتوحة. هذا النوع من الأخطاء، الذي يظهر كإجراء صحيح ظاهرياً لكنه خاطئ في البيانات، هو ما يستهدفه النظام الجديد للتصحيح عبر التدريب المعزز.
اختيار المهام: الصعوبة النسبية للسياسة
التحدي الرئيسي في بناء مجموعة تدريب فعالة هو اختيار المهام المناسبة. معظم المهام تكون إما سهلة جداً (محلولة مسبقاً) أو صعبة جداً (مستحيلة) بالنسبة للنموذج الحالي، وكلاهما لا يوفر قيمة تعليمية. لذلك، اعتمدت مايكروسوفت على مفهوم "الصعوبة النسبية للسياسة" (Offline Policy-Relative Difficulty). تم تقدير احتمال نجاح كل مهمة مرة واحدة باستخدام السياسة الأساسية قبل بدء التدريب، ثم تم تثبيت مجموعة التدريب المختارة طوال فترة التنفيذ.
هذا النهج يضمن أن النموذج يتدرب على مهام تقع في منطقة التعلم المثلى، حيث تكون احتمالية النجاح متوسطة، مما يسمح بخوارزمية GRPO باستخلاص أقصى قدر من الفوائد من كل خطوة تدريبية دون ضياع الوقت على مهام لا يمكن للنموذج حلها أو التي يحلها بالفعل بثبات.
نتائج التدريب على Qwen3.8-27B
خضع نموذج Qwen3.8-27B لتدريب دقيق باستخدام خوارزمية GRPO لمدة 50 خطوة على مجموعة المهام المختارة. أظهرت النتائج تحسناً ملحوظاً في متوسط النجاح، حيث ارتفع من 51.70% إلى 60.78%. الأهم من ذلك هو التحسن في الاتساق؛ فعدد المهام التي نجح النموذج في حلها بشكل صحيح في جميع المحاولات العشرين (Observed 20/20) قفز من 38 إلى 107 مهمة.
يُظهر هذا التحول أن النموذج أصبح أكثر موثوقية في تكرار النجاحات، حتى لو كان هناك انخفاض طفيف في تغطية "النجاح مرة واحدة على الأقل" (pass@20). هذا النمط يتوافق مع ظاهرة "التحسين" (Sharpening)، حيث تتجه توزيعات الاحتمالات نحو المسارات التي تعمل بشكل متكرر، بينما تختفي بعض المسارات منخفضة الاحتمالية.
تحليل الأداء عبر المجالات المختلفة
عند تقييم النموذج المدرب على مجموعة الاختبار المكونة من 507 مهمة لم يرها أثناء التدريب، ارتفعت مؤشرات النجاح في جميع المجالات الخمسة. ومع ذلك، كانت النتائج مختلطة في بعض المقاييس؛ فبينما زادت التغطية في مجالات مثل البنوك الناشئة والاستشارات، انخفضت قليلاً في تجارة التجزئة والسفر والتأمين على السيارات. كان أكبر خسارة في الاتساق في مجال التأمين على السيارات بنحو 7 نقاط مئوية.
مقارنةً بالنماذج الأخرى، حقق النموذج المدرب أداءً متفوقاً في الاتساق. على سبيل المثال، تجاوز عدد المهام التي نجح فيها في جميع المحاولات (107) نظيره GPT-5.6 Sol (82)، رغم أن الأخير حقق نسبة نجاح أعلى قليلاً في المتوسط. هذا يؤكد أن الدقة المتوسطة وحدها لا تعكس الموثوقية الإنتاجية، بل يجب النظر إلى ثبات الأداء عبر المحاولات المتكررة.
الدروس المستفادة للموثوقية الإنتاجية
تُظهر هذه التجربة أن تحسين موثوقية الوكلاء في بيئات الإنتاج يتطلب الانتقال من التركيز على الدقة المتوسطة إلى التركيز على الاتساق. في السيناريوهات التي تتعامل مع سجلات قواعد بيانات حقيقية، يكون فشل الوكيل في محاولة واحدة كافياً لإحداث أضرار، لذا فإن مؤشر "النجاح في 20/20 محاولة" هو المقياس الأهم لقياس الجاهزية التشغيلية.
تقدم مايكروسوفت من خلال هذا العمل إطاراً عملياً لتدريب الوكلاء على المهام المعقدة، حيث يصبح التحقق من صحة البيانات هو المحرك الأساسي للتعلم. هذا يفتح الباب أمام تطوير نماذج أكثر أماناً وموثوقية للمهام الحساسة التي تتطلب دقة في تحديث البيانات.
المصادر
- Hugging Face BlogTurning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox
تابع التسلسل الزمني
تغطية الكيانات المرتبطة
أخبار مرتبطة
مايكروسوفت تطلق هارنس Copilot متعدد النماذج
تتيح مايكروسوفت عبر منصة Foundry هارنس Copilot متعدد النماذج، مما يمكّن المطورين من بناء وكلاء ذكاء اصطناعي معتمدين على أفضل النماذج دون تعقيد تقني.
مايكروسوفت: ذكاء اصطناعي يفوق الأطباء في تشخيص الحالات المعقدة
كشفت دراسة في مجلة Science أن نظام MAI-DxO من مايكروسوفت حقق دقة 83% في تشخيص حالات طبية معقدة، متفوقاً على الأطباء العامين. ما الذي يعنيه ذلك للمستقبل؟
CWE-bench v2 يوسّع تغطية اختبارات الأمان للذكاء الاصطناعي
أطلقت Collinear AI النسخة الثانية من CWE-bench، وهي مجموعة من 100 مهمة مفتوحة المصدر لاختبار قدرات الوكلاء في اكتشاف وإصلاح الثغرات الأمنية بدقة عالية.
عقبات بيروقراطية تعيق بناء مدنية من 50 وكيل ذكاء اصطناعي في ماينكرافت
اختبر باحثون أسراباً من وكلاء الذكاء الاصطناعي في ماينكرافت لبناء حضارة، لكن الفرق المكونة من 50 عنصراً فشلت بسبب البيروقراطية المفرطة وسلوكيات الجمود.
