مِخبارMIKHBAR
الذكاء الاصطناعي

موظف أمان في OpenAI يستقيل: الثقافة التنظيمية مكسورة

في مقال نشره في The Atlantic، كشف روبنسون عن مخاوفه من غياب الخبرة في إدارة الأمان النووي والطيران، داعياً إلى معايير أشد صرامة.

موظف أمان في OpenAI يستقيل: الثقافة التنظيمية مكسورة

استقالة تحمل تحذيراً قاسياً

اعترف ديفيد روبنسون، الموظف السابق في قسم الأمان بشركة OpenAI، بأنه يمثل 'نوعاً من الكليشيه' في عالم التقنية: موظف في شركة رائدة يطلق تحذيراً خطيراً أثناء استقالته. في مقال نشره في The Atlantic، أوضح روبنسون أنه قاد كتابة تقارير الأمان التي رافقت إطلاق المنتجات الرئيسية للشركة، وأنه قضى ثلاث سنوات ونصف في OpenAI، مما يجعله من أقدم الموظفين في الشركة. ومع ذلك، قرر المغادرة بسبب ما وصفه بأنه 'ثقافة مكسورة' داخل المؤسسة.

صدى تحذيرات سابقة

تعكس تعليقات روبنسون إلى حد كبير تلك التي أدلى بها جاكوب كوكسون، الباحث السابق في OpenAI وAnthropic، الذي استقال معلناً أن هذه الشركات 'ترهن حياتنا بالمقامرة'. أدت تعليقات كوكسون إلى نقاش أوسع حول أمان الذكاء الاصطناعي، حيث كشف الرئيس التنفيذي لشركة Anthropic، داريو أمودي، عن خطة لتطوير أكثر حذراً. كما التقى مسؤولو الذكاء الاصطناعي بالرئيس دونالد ترامب هذا الأسبوع ووقعوا ما بدا أنه تعهد غير ملزم تم صياغته على عجل لتنفيذ ضوابط أمان إضافية.

نقد للثقافة التنظيمية

يرى روبنسون أن النقاش يجب أن يتجاوز 'القواعد المحددة أو القوانين الجديدة' ليعالج الثقافة العامة في هذه الشركات. بينما ركزت معظم التقارير حول OpenAI على كيف فقد الرئيس التنفيذي سام ألتمان ثقة زملائه السابقين، يقترح مقال روبنسون أن مشاكل الثقافة في OpenAI هي نفسها مشاكل وادي السيليكون بأكمله. كتب روبنسون: 'ازدهرت OpenAI من خلال التجربة والخطأ (التي تسميها 'النشر التكراري')، حيث تبحث عن المشاكل وتحسن حواجز الأمان استجابةً لها. لكن هذا النهج، بطبيعته، يضمن فشلات دورية - ومقياس هذه الفشل يتزايد مع زيادة قدرات الأنظمة.'

مخاطر الوكلاء غير المنضبطين

مشيراً إلى الاختراق الأخير لأنظمة Hugging Face بواسطة وكلاء OpenAI، بالإضافة إلى الاستمرارية في الكشف عن اكتشاف OpenAI لمزيد من الوكلاء غير المنضبطين، حذر روبنسون من أن البيئة التي يمكن أن تحدث فيها مثل هذه الأمور 'ليست مكاناً لتنمية أذهان اصطناعية قد تكون أذكى منا وقد لا تفعل ما نريده منها'. وأكد أن زيادة المخاطر تتطلب من شركات الذكاء الاصطناعي المتقدمة البدء في العمل 'كأنها محطات طاقة نووية أو مطارات مزدحمة، مع طبقات من التكرار والتخطيط الدقيق والمستهلك للوقت، حتى لا تفتح الأخطاء البشرية العارضة واللازمة باباً للكوارث.'

غياب الخبرة المتخصصة

على الرغم من أهمية هذه المقارنة، أشار روبنسون إلى أنه خلال فترة عمله في OpenAI، 'لم يقابل زميلاً لديه خبرة في جعل الطائرات تطير بأمان أو تشغيل المفاعلات النووية دون ذوبانها، أو مساعدة النظام المالي على النمو دون انهياره'. هذا الافتقار إلى الخبرة المتخصصة في مجالات الأمان الحرجة يثير تساؤلات حول قدرة الشركات الحالية على إدارة أنظمة ذات قدرات متزايدة التعقيد.

رد OpenAI على الانتقادات

في رد على مقال روبنسون، قال متحدث باسم OpenAI، درو بوساتيري، إن الشركة تستمر في تحسين تدابير الأمان. وأوضح بوساتيري في بيان: 'نحن نتأكد من أن نماذجنا لا تصبح أكثر قدرة مما يمكننا إدارته بأمان وتأمينه، ونوقف التدريب أو نؤجل إطلاق النماذج عندما نحتاج إلى إبطاء وتيرتنا. نحن نجرى تغييرات كبيرة لتعزيز الأمان في بيئات البحث والاختبار لدينا، وندرّب النماذج ليس فقط على إكمال المهام بل على القيام بذلك بمسؤولية، ونوسع عملنا مع المقيمين من الأطراف الثالثة، ونحسن المراقبة في الوقت الفعلي حتى نتمكن من اكتشاف السلوك المقلق والاستجابة له في وقت أبكر من عملية التدريب.'

دعوات لأسئلة أوسع حول المحاذاة

إلى جانب الدعوة إلى تغييرات في ثقافة OpenAI، قال روبنسون إنه حان الوقت لطرح أسئلة أكبر حول المحاذاة (Alignment)، وهو ما اعترف بأنه قد يبدو 'حساساً'، لكنه قال إنه حاسم لأن 'مقاييس مدى توافق أنظمة الذكاء الاصطناعي مع القيم البشرية' الحالية 'خشنة'. وأضاف: 'كلما سمحت الصناعة للنماذج بالنمو أكثر ذكاءً بينما تبقى هذه المشاكل دون حل، أصبحت وضعنا أكثر خطورة.'

خلفية الاستقالة والقرار الشخصي

كانت استقالة روبنسون قد أوردتها لأول مرة صحيفة Business Insider. في مقاله، اعترف أيضاً بأنه يتبع خطوة تبدو شائعة في سيناريو الكاشف عن المخالفات في مجال الذكاء الاصطناعي: لقد وظف شركة علاقات عامة. لكنه أصر على أن 'قرار التحدث علناً هو قراري وحدي'. وختم روبنسون قائلاً: 'ربما كان يجب أن أبقى وأقاتل من أجل تغييرات جذرية في تشكيلنا الثقافي، لكن في الممارسة العملية، كنا أنا وزملائي مشغولين جداً بالركض السريع لدرجة أننا نادراً ما كان لدينا فرصة للتفكير في التغييرات الكبيرة، ناهيك عن تنفيذها. لهذا السبب خلصت إلى أن الحوافز الأقوى للأمان - القادمة من خارج الشركة - هي جزء كبير من تحقيق هذا الأمر بشكل صحيح.'

المصادر

  • TechCrunchOpenAI safety employee resigns, claiming the company’s ‘culture is broken’

تابع التسلسل الزمني

تغطية الكيانات المرتبطة