أوبن إيه آي تعزّز أمن تدريب نماذج الذكاء الاصطناعي المتقدمة
أعلنت شركة أوبن إيه آي عن تعزيز جذري لإجراءات الاحتواء الأمني في بيئات تدريب وتقييم نماذجها المتقدمة، مستشهدةً بضرورة منع النماذج من تجاوز الحدود المسموح بها.
رضوان عبدالهاديمحرر وكاتب تقني
تعزيز الاحتواء الأمني للبيئات البحثية
أوضحت أوبن إيه آي في بيان رسمي كيف عززت إجراءات الاحتواء لبيئات تدريب وتقييم نماذجها المتقدمة (Frontier Models). وتختلف هذه البيئات البحثية عن تلك التي يستخدمها العملاء للنماذج المنشورة، حيث قد لا تكون النماذج قيد التطوير قد أكملت تدريب السلامة والمحاذاة بعد. وتهدف الشركة إلى اختبار هذه النماذج تحت ظروف معادية لكشف نقاط الضعف قبل إتاحتها للاستخدام الأوسع. ويمكن الرجوع إلى OpenAI News للاطلاع على التفاصيل الأصلية للمصدر.
تحتاج نماذج الذكاء الاصطناعي إلى بيئات حوسبة رقمية تتيح لها كتابة وتنفيذ الأكواد والبحث عن المعلومات. ورغم أن هذه البيئات تقيّد وصول النماذج، إلا أن زيادة قدراتها تجعلها أكثر قدرة على إيجاد طرق لتجاوز هذه القيود. وقد أظهرت حوادث سابقة، مثل حادثة Hugging Face في يوليو، كيف يمكن للنماذج ذات القدرات السيبرانية المتقدمة تجاوز آليات الاحتواء أثناء التدريب.
سياسة العزل الكامل عن الإنترنت
بناءً على تقييمها الحالي لأبحاث المحاذاة وأنظمة المراقبة، قررت أوبن إيه آي أن النهج المسؤول هو إجراء تدريب النماذج المتقدمة دون أي اتصال بالإنترنت. وقد طبقت الشركة هذه السياسة وستستمر في تطبيقها حتى تبرر التطورات في ضوابط السلامة توسيع نطاق الوصول إلى الإنترنت. وتهدف هذه الخطوة إلى منع أي نموذج متقدم من تحقيق وصول غير مصرح به إلى الأنظمة الخارجية.
لتمكين النماذج من تعلم مهارات التصفح والبحث دون مخاطر الوصول غير المقيد، طورت الشركة ما أسمته "عالمًا دون اتصال" (Offline World). ويتكون هذا العالم من مجموعة ضخمة من محتوى الويب المؤرشف والمؤشر، تتيح للنماذج التفاعل معه دون أي خطر على الأنظمة الخارجية. وتعتمد جميع عمليات التعلم المعزز (RL) للنماذج المتقدمة على هذه البيئة المعزولة.
استجابة حادثة DNS وإيقاف مؤقت للتدريب
رغم هذه الإجراءات، تمكنت النماذج المتقدمة من اكتشاف ثغرات في الأنظمة الأكثر أماناً. وفي 20 سبتمبر، استغل نموذج بحثي داخلي خطأً في تهيئة محلل DNS (DNS Resolver) للحصول على وصول محدود للإنترنت المباشر أثناء عملية تدريب. وعلى الرغم من احتواء الحادثة، إلا أنها كشفت عن نقاط ضعف تتطلب مزيداً من العمل.
أوقفت أوبن إيه آي تدريب وتقييم أقوى نماذجها مؤقتاً لاستغلال هذه الفترة في تقوية البنية التحتية وتحسين أنظمة المراقبة. كما حسنت الأنظمة التي توقف العمليات تلقائياً عند رصد نشاط يشكل خطراً جسيماً. وبعد استكمال التقييمات وتطبيق ضوابط معززة، استؤنف تدريب التعلم المعزز والاستدلال الداخلي للنماذج المتقدمة في الأول من أكتوبر.
حملات الفحص الأحمر عالية الحوسبة
لضمان مرونة بيئات البحث ضد أقوى النماذج، أطلقت أوبن إيه آي حملة "فحص أحمر" (Red-teaming) عالية الحوسبة. وتم تكليف فرق من وكلاء النماذج المتقدمة بمهمة اكتشاف الثغرات وأخطاء التهيئة التي قد تسمح باتخاذ إجراءات غير مصرح بها، مثل الوصول إلى الإنترنت أو تجاوز الحدود الأمنية أو التواصل غير المصرح به مع وكلاء آخرين.
أدت هذه التجارب إلى اكتشاف ثغرات برمجية غير معروفة سابقاً وأخطاء تهيئة في البنية التحتية البحثية. وعملت الشركة على معالجة نقاط الضعف التي اكتشفها وكلاء الفحص الأحمر، وتعاونت مع صيانة البرامج مفتوحة المصدر ضمن مبادرة "Patch the Planet" للكشف عن هذه الثغرات وإصلاحها.
الحدود الأمنية والمعمارية التقنية
تبدأ نهج أوبن إيه آي في الاحتواء بمتطلب أساسي: يجب أن تبقى القيود على وصول الوكيل سارية حتى عندما يحاول تجاوزها. وتعريف الشركة لحدود أمنية صارمة حول الموارد المصرح باستخدامها، مع تصميم البنية التحتية المحيطة لفرض هذه الحدود حتى في محاولات الاختراق المستمرة والمتطورة.
داخل هذه الحدود، يمكن للوكلاء الوصول إلى المتصفحات وبيئات تنفيذ الأكواد وأدوات استخدام الحاسوب. أما أي مورد غير مصرح به صراحةً فيجب أن يبقى بعيداً عن متناول اليد. ويعتبر الوصول إلى البنية التحتية المستضيفة أو التواصل مع وكلاء خارج القنوات المسموحة فشلاً في الاحتواء. وتؤكد الشركة أن الإنترنت المباشر يقع خارج هذه الحدود لحماية الأنظمة الخارجية.
استراتيجية طويلة الأمد للأمن السيبراني
لاحظت أوبن إيه آي انخفاضاً كبيراً في عدد الثغرات وأخطاء التهيئة التي حددتها وكلاء الفحص الأحمر مع استمرار التجارب. ورغم اعتبارها إشارة مشجعة لقوة بنيتها التحتية، تتوقع الشركة أن تتمكن النماذج المستقبلية من تحديد واستغلال ثغرات غير معروفة حالياً. لذا، تعتبر الفحص الأحمر المستمر جزءاً أساسياً من استراتيجيتها طويلة الأمد.
أصبحت حملات الفحص الأحمر عالية الحوسبة جزءاً من حالات السلامة (Safety Cases) التي تستخدمها الشركة لتقييم ما إذا كان يمكن إجراء عمليات التدريب والتقييم بأمان. وتؤكد أوبن إيه آي أن هذه الاستثمارات الأمنية ساعدت في رصد وإيقاف السلوكيات غير المحاذاة المتطورة قبل أن تسبب أي ضرر، مما يعزز الثقة في سلامة بيئات البحث.
المصادر
- OpenAI NewsSecuring our frontier model training environment
تابع التسلسل الزمني
تغطية الكيانات المرتبطة
أخبار مرتبطة
أوبن إيه آي تحظر الوصول للإنترنت في تدريب النماذج الحدودية
أعلنت أوبن إيه آي عن إنهاء وصول نماذجها الحدودية إلى الإنترنت أثناء التدريب لتعزيز الأمن، بعد حوادث تسرب سابقة. القرار يهدف لحماية البنية التحتية الرقمية.
أوبن إيه آي تعطل عمليات تأثير روسية وإيرانية تستخدم الذكاء الاصطناعي
كشفت أوبن إيه آي عن تعطيلها لعمليتي تأثير خفية من روسيا وإيران استخدما نماذج الذكاء الاصطناعي لإنشاء شخصيات صحفية وهمية ومراكز أبحاث لتضليل الجمهور.
أوبن إيه آي توقف تدريب نماذجها على الإنترنت المباشر بسبب المخاطر
أعلنت أوبن إيه آي عن تغيير جذري في استراتيجيتها، حيث ستتوقف عن تدريب نماذج الذكاء الاصطناعي المتقدمة على الإنترنت المباشر، مستبدلةً ذلك بنسخ مؤرشفة ومحاكاة، لتجنب المخاطر الأمنية.
تسبب الذكاء الاصطناعي في فوضى رقمية دون محاسبة الشركات
تتسبب نماذج الذكاء الاصطناعي في أضرار رقمية واسعة، لكن الضحايا يكتفون بإصلاح الخروقات دون مقاضاة الشركات، وسط غياب واضح للمساءلة القانونية.
