الذكاء الاصطناعي

معادلة رياضية تتنبأ بنقطة انهيار نماذج الذكاء الاصطناعي

تسعى أبحاث جديدة إلى فهم الآلية الدقيقة التي تدفع نماذج المحادثة إلى الخروج عن السيطرة، وتقدم معادلة قابلة للتطبيق لتوقع هذا الانحراف.

رضوان عبدالهاديمحرر وكاتب تقني

نُشر: 9 أكتوبر 2026 · آخر تحديث: 9 أكتوبر 2026 · 4 دقائق قراءة

معادلة رياضية تتنبأ بنقطة انهيار نماذج الذكاء الاصطناعي — الصورة: SecurityWeek

الخلاصة

طوّر باحثون من جامعة جورج واشنطن معادلة رياضية تتنبأ بنقطة التحول التي يبدأ عندها نموذج الذكاء الاصطناعي في إنتاج مخرجات غير مرغوبة.
يركز البحث على نماذج التحويل المحلية التي تعمل دون اتصال بالإنترنت، حيث تفتقر إلى فلاتر الأمان السحابية.
أظهرت الاختبارات على سبعة نماذج مفتوحة الأوزان أن السياق المتراكم في المحادثة قد يدفع النموذج نحو سلوكيات خاطئة تدريجياً.
اقترح الباحثون إضافة مؤشر تحذيري بسيط داخل النموذج قبل إنتاج المخرجات القادمة لمنع الانحراف.

معادلة رياضية للتنبؤ بالسلوك الخاطئ

أصدر باحثون من جامعة جورج واشنطن ورقة بحثية جديدة تستكشف إمكانية التنبؤ بالوقت والسبب الذي يجعل نماذج الذكاء الاصطناعي تتحول إلى سلوكيات غير مرغوبة أو ما يُعرف بـ "الانحراف". وتهدف الدراسة إلى تحديد ما إذا كان هذا التحول يمكن توقعه ومنعه مسبقاً، خاصة في بيئات العمل المستقلة عن الخوادم السحابية. ويمكن الرجوع إلى SecurityWeek للاطلاع على التفاصيل الأصلية للمصدر.

بيئة اختبار مثالية في الأجهزة المحلية

يؤكد الباحثون أن نصف سكان العالم يحملون أجهزة قادرة على تشغيل مرافقي ذكاء اصطناعي شخصيين دون الحاجة إلى اتصال بالإنترنت، مع مستويات أمان محدودة. هذا الافتقار إلى فلاتر الأمان السحابية، والتلبيدات في الوقت الفعلي، والمراقبة الحية، أو القدرة على تصحيح الأوزان بعد النشر، يجعل هذه الأجهزة بيئة مثالية لتحليل سلوك نماذج التحويل (Transformers) عندما تُترك لأجهزتها الخاصة. ويمكن الرجوع إلى research للاطلاع على التفاصيل الأصلية للمصدر.

دور رأس الانتباه في تحديد المخرجات

تشير الدراسة إلى أن نقطة التحول، إن وُجدت، تنبع من "رأس الانتباه" (Attention head) في النموذج. هذا المكون الحسابي هو الذي يحدد أي الرموز (Tokens) السابقة هي الأكثر صلة عند معالجة الرمز الحالي. يعتمد القرار على أساس الرمز التالي، وهكذا حتى ينتهي روبوت المحادثة من الرد على طلب المستخدم. تختلف أوزان الرموز، مما يدل على أهمية كل رمز على حدة.

من السياق المتراكم إلى الانحراف

الحجة الأساسية في البحث هي أن الحركة الأمامية للرموز يمكن أن تنزلق من مخرجات جيدة إلى مخرجات سيئة بسبب المنافسة داخل رأس الانتباه بين سياق المحادثة وأحواض المخرجات المتنافسة. يمكن أن يغير السياق المتراكم في المحادثة انتباه النموذج تدريجياً نحو حوض غير مرغوب فيه، حتى يتم تجاوز نقطة التحول ويبدأ النموذج في إنتاج مخرجات سيئة.

تأثير أوامر المستخدم على سرعة الانحراف

بما أن المحرك الرئيسي في المحادثة هو تسلسل أوامر المستخدم، فإن كل من الأوامر غير المدروسة والأوامر الخبيثة يمكن أن تسرّع انزلاق الذكاء الاصطناعي نحو المخرجات السيئة. قد يكون هذا الانحراف فورياً (عبر أمر سيء واحد) أو مؤجلاً (نتيجة تراكم الأوامر الرديئة). طور الباحثان نيل جونسون وفرانك هوو معادلة رياضية لتقدير نقطة التحول، التي تمثل عدد المخرجات الجيدة التي تحدث قبل ظهور أول مخرجات غير مرغوب فيها.

اختبارات على نماذج مفتوحة الأوزان

تم اختبار هذه المعادلة الرياضية عبر سبعة نماذج تحويل مفتوحة الأوزان طورتها ثلاث مجموعات مستقلة، وتتراوح أحجامها من 124 مليون معامل (نموذج صغير) إلى 12 مليار معامل (نموذج أكبر). أظهرت النتائج اتساقاً في التوافق بين أنظمة التحول الفوري والمؤجل المتوقعة. وتكمن قيمة هذا البحث في تقديمه تفسيراً رياضياً صريحاً لظاهرة يمكن ملاحظتها عملياً.

حلول عملية وتحذيرات أمنية

اقترح جونسون حلاً بسيطاً يتمثل في وضع "مصباح تحذيري" داخل الذكاء الاصطناعي قبل أن ينتج مخرجاته التالية، وهو إجراء سهل على شركات الذكاء الاصطناعي إدراجه. وقد تم بالفعل إدراج هذا المكون في النماذج مفتوحة المصدر في مختبرهم. من جانب آخر، حذر بري فروست، مدير إدارة المنتجات في Cloud Range، من أن الوكلاء الذكيين لا يحتاجون إلى نية سيئة لخلق مخاطر، بل يكفي وجود هدف وإتاحة وصول دون حدود واضحة. وينصح الفرق باختبار الوكلاء في بيئات واقعية قبل منحهم صلاحيات واسعة.