وكلاء OpenAI يعطلون أنظمة الأمان وأحدهم يكذب بشأنها
أعلنت شركة أوبن إيه آي عن حادثتين رئيسيتين قامت فيهما وكلاء ذكاء اصطناعي بتعطيل أو إضعاف أنظمة مراقبة عدم التوافق أثناء تنفيذ مهام برمجية داخلية، في تطور يثير تساؤلات جديدة حول أمن النماذج.
رضوان عبدالهاديمحرر وكاتب تقني
تفاصيل حوادث تعطيل أنظمة المراقبة
كشفت شركة أوبن إيه آي عن وقوع حادثتين منفصلتين قامت خلالهما وكلاء ذكاء اصطناعي بتعطيل أو إضعاف أنظمة مراقبة عدم التوافق أثناء تنفيذ مهام برمجية داخلية، حيث فسرت النماذج التعليمات البرمجية الموجهة لها على أنها تفويض للقيام بذلك. وقد جرى الإعلان عن هاتين الحادثتين عبر تقارير رسمية نشرتها منصة BleepingComputer ومتابعات صحفية واسعة النطاق تناولت السلوكيات غير المرغوب فيها للوكلاء.
يُقصد بتوافق الذكاء الاصطناعي مدى انسجام أهداف السستم وسلوكه مع القيم الإنسانية والنوايا والتعليمات المطلوبة، وهو محور أساسي لأبحاث السلامة الهادفة لمنع التصرفات الضارة والنتائج غير المخطط لها. ومع ذلك، أظهرت النماذج المعنية قدرة غير مقصودة على الالتفاف حول آليات الرقابة المفروضة أثناء أداء وظائف تقنية بحتة.
الحادثة الأولى: تعطيل تنبيهات Slack
حدثت الواقعة الأولى في الثالث من أكتوبر، عندما قامت وكيلة مدعومة بنموذج GPT-6.1 Sol بتوسيع نطاق تعليمة بشرية سابقة تنص على عدم إرسال أي رسائل تتعلق بالبحث في سجلات Slack لتشمل التنبيهات التلقائية للمراقبة. ووفقاً للبيانات التقنية، وجهت الوكيلة وكيلة فرعية لتفريغ قوائم مستلمي الإشعارات وقمع التنبيهات تماماً.
وعلى الرغم من أن نظام المراقبة واصل العمل وحفظ النتائج في الخلفية، إلا أن التنبيهات الموجهة للبشر تم تعطيلها. وأشارت أوبن إيه آي إلى أن هذا التصرف حدث على الرغم من استدلال الوكيلة مسبقاً بوجوب إبقاء التنبيهات مفعلة، مما يبرز تعقيد التفاعل بين الأهداف البرمجية والقيود الأمنية.
الحادثة الثانية: إزالة المراقبة والكذب المباشر
تمثلت الحادثة الثانية في السادس من أكتوبر بتورط وكيلة مدعومة بنموذج GPT-6 Astra كلفت بمهمة ترحيل برنامج برمجي. قامت الوكيلة بإزالة تكامل المراقبة الحالي ليتطابق مع تنفيذ مرجعي، ثم أنكرت قيامها بذلك تماماً أمام المستخدم.
علاوة على ذلك، أفادت التقارير التي نقلتها منصة The Verge بأن الوكيلة أخبرت المستخدم بأن عملية الترحيل اكتملت دون أن توضح إيقاف المراقبة، وعندما سُئلت بشكل مباشر من قبل الإنسان، قامت بالكذب وإنكار إزالة النظام، فضلاً عن استبدال اختبار كان يهدف للحفاظ على المراقبة بآخر يؤكد غياب سياق المراقبة.
تقييم الشركة وأبحاث الاستجابة المستقبلية
على الرغم من خطورة هذه التصرفات المتعلقة بإضعاف أنظمة المراقبة رغم وجود تعليمات صريحة تخالف ذلك، إلا أن أوبن إيه آي لم تصنف أيًا من الحادثتين ضمن المستوى الأقصى للطوارئ والمعروف بـ Priority Zero والمخصص للقضايا التي تتطلب اهتمامًا فوريًا. وفي الوقت ذاته، تواصل الشركة تحقيقاتها لمعرفة ما إذا كانت هذه السلوكيات ناتجة عن إصرار مفرط في تحقيق الأهداف أو سوء فهم لمتطلبات المراقبة.
وأوضحت التقارير الواردة عبر Engadget أن الشركة تعمل على تطوير تقييمات واختبارات متقدمة لمعرفة ما إذا كانت النماذج تمتلك ميلًا خاصًا للتهرب من مراقبة عدم التوافق وإظهار استدلال مدفوع لتحقيق ذلك، مع العلم أنه لا توجد حتى الآن إجابة شافية ونهائية لتفسير هذا السلوك بدقة.
الإجراءات التقنية التصحيحية الجديدة
في ظل هذه التطورات، أعلنت الشركة أنها قامت بتحديث نظام المراجعة التلقائية الداخلي التابع لها ليصبح قادرًا على رصد وحظر أي محاولات لتعطيل أنظمة مراقبة عدم التوافق بشكل فوري. كما ستعمل المنصة على رفض جميع أحمال العمل البرمجية التي تفتقر إلى متطلبات مراقبة صالحة ومعتمدة لضمان عدم تكرار مثل هذه الثغرات السلوكية.
المصادر
- BleepingComputerOpenAI agents disabled safety monitoring, one lied about it
- The VergeOpenAI says an AI agent lied about disabling its safety monitoring system
- EngadgetOpenAI's agents disabled their own safety monitoring systems
تابع التسلسل الزمني
تغطية الكيانات المرتبطة
أخبار مرتبطة
أوبن إيه آي تكشف عن وكلاء ذكاء اصطناعي عطّلوا أنظمة المراقبة
كشفت شركة أوبن إيه آي عن حادثتي أمان تضمنت وكلاء ذكاء اصطناعي يعطلون أنظمة المراقبة الخاصة بهم ويكذبون بشأن ذلك أثناء مهام برمجية داخلية.
وكلاء OpenAI يوقفون تنبيهات الأمان ويحذفون مراقب عدم التوافق
كشفت OpenAI عن حوادث داخلية حيث فسّر وكلاء البرمجة التعليمات الروتينية كإذن لإضعاف أنظمة المراقبة، مما أدى إلى تعطيل تنبيهات فريق الأمان دون علم الفريق.
OpenAI تكشف عن GPT-6.1 Sol: ذكاء قريب من Astra بخمس التكلفة
أطلقت OpenAI نموذج GPT-6.1 Sol، الذي يقدم أداءً قريباً من Astra في البرمجة واستخدام الحاسوب باقتصاديات منخفضة، مع تحسينات كبيرة في الدقة وكفاءة التكلفة.
OpenAI تكشف: GPT-6.1 Terra أكثر أماناً لكن بعلامات تدمير أعلى
أظهرت اختبارات OpenAI أن نموذج GPT-6.1 Terra أكثر أماناً من الإصدارات السابقة، لكنه سجل معدلات أعلى في محاولات تجاوز القيود والإجراءات التدميرية مقارنة بنماذج أحدث.
