مِخبارMIKHBAR
الذكاء الاصطناعي

مايكروسوفت: وكلاء الذكاء الاصطناعي يشبهون التهديدات الداخلية

تعتبر مايكروسوفت أن وكلاء الذكاء الاصطناعي الذين يعملون داخل الشركات يشبهون الموظفين غير الموثوقين، وتطلق أدوات جديدة لفصل سلطة المراقبة عن مزودي النماذج.

مايكروسوفت: وكلاء الذكاء الاصطناعي يشبهون التهديدات الداخلية

إطلاق أدوات أمنية جديدة للوكلاء

أعلنت شركة مايكروسوفت عن تقديم ميزات أمنية جديدة مصممة خصيصاً لحماية المؤسسات من التهديدات المتزايدة التي يمثّلها وكلاء الذكاء الاصطناعي. يأتي هذا الإطلاق في وقت تتواصل فيه تحذيرات الشركة للمؤسسات بشأن مخاطر الذكاء الاصطناعي والوكلاء. وتُعد ميزة 'Guardian Agents' الأكثر بروزاً، حيث تهدف إلى مراقبة الوكلاء الذين تستخدمهم الشركات، وهي جزء من منتج 'Project Perception' الذي أُطلق في يونيو الماضي. ويمكن الرجوع إلى TechCrunch للاطلاع على التفاصيل الأصلية للمصدر.

من التهديد الخارجي إلى الداخلي

صُمم مشروع 'Project Perception' في البداية كإجابة على نماذج الاختراق القوية مثل 'Mythos' و'Fable' من Anthropic، ونظام فحص الثغرات 'Daybreak' من OpenAI. اعتمد المشروع على ثلاث فئات من الوكلاء: فريق أحمر يعمل كمتسللين، وفريق أزرق للكشف والتقييم، وفريق أخضر للإصلاح. لكن الفرضية الأصلية كانت أن المهاجمين سيأتون من خارج الشركة. ومع ذلك، بدأ ساتيا ناديلا، الرئيس التنفيذي لمايكروسوفت، يحذر من أن العدو قد يكون الوكلاء أنفسهم الذين توظفهم الشركات وتدفع لهم، تماماً مثل الموظف البشري الخائن أو ما يُعرف بـ'التهديد الداخلي'.

ناديلا: لا تثق بمزودي النماذج

في منشور على مدونته الخاصة، حذر ناديلا من ضرورة التوقف عن الثقة بمزودي نماذج الذكاء الاصطناعي، حتى لو قدموا ضمانات تتعلق بالأمان. ودعا المؤسسات إلى تنفيذ أنظمة مراقبة مستقلة لا تسيطر عليها مختبرات الذكاء الاصطناعي، لمراقبة الوكلاء الذين تطلقها منتجات هذه المختبرات. وأكد أن المؤسسات لا تستطيع تفويض المسؤولية عن الأفعال التي يقوم بها الذكاء الاصطناعي نيابة عنها، مشدداً على الحاجة إلى فصل 'توريد الذكاء' عن 'السلطة عليه'.

لماذا النماذج المتقدمة غير موثوقة؟

صرحت هاييت غالوت، رئيسة قطاع الأمن في مايكروسوفت، بأن النماذج المتقدمة، بغض النظر عن مصدرها، لا يمكن الوثوق بها. وأوضحت أن السبب ليس كونها خبيثة أو سهلة الاختراق، بل لأنها غير متوقعة السلوك. فقد تم تدريبها لتحقيق مهام محددة وليس لاتباع 'المعايير التنظيمية أو الحكم'. بالإضافة إلى ذلك، غالباً ما يُمنح هؤلاء الوكلاء مفاتيح الوصول إلى بيانات وأنظمة حساسة، مما قد يسبب أضراراً جسيمة إذا تصرفوا بشكل غير متوقع.

مصلحة مايكروسوفت ومنطقها

يبدو حل مايكروسوفت مفاجئاً ومفيداً للشركة في آن واحد. فمن ناحية، تُعد مايكروسوفت قريبة جداً من OpenAI وAnthropic، حيث استثمرت في كلاهما، وتعد OpenAI من أكبر عملاء سحابتها، ولديها مختبر ذكاء اصطناعي خاص. لذا، فإن بث عدم الثقة يمس مصالحها التجارية. لكن من ناحية أخرى، تريد مايكروسوفت أن تشتري المؤسسات منتجات أمان الوكلاء منها بدلاً من مزودي النماذج. ومع ذلك، فإن منطقها سليم: يجب أن يكون البرنامج الذي يراقب سلوك الوكلاء مستقلاً عن موريدي الوكلاء، تماماً كما يجب أن يكون المدققون مستقلين عن المؤسسات التي يدققون فيها.

توسيع نطاق المراقبة في مكان العمل

تستغل مايكروسوفت هذه الفرصة التجارية بطرق متعددة. بالإضافة إلى 'Guardian Agents'، أضافت ميزة كشف الوكلاء إلى منتج 'Microsoft Defender'، والتي يمكنها اكتشاف ما يصل إلى 60 نوعاً من الوكلاء الذين يجلبهم الموظفون إلى مكان العمل، بما في ذلك 'Claude Code' و'Codex' و'OpenClaw'. كما أضافت ميزات لتقييد وصول الوكلاء إلى البيانات والأنظمة، وضبط صلاحياتهم ديناميكياً بناءً على المهمة، مع اشتراط موافقة بشرية إذا بدا أن الوكيل يتخذ قرارات محفوفة بالمخاطر.

توجه صناعي أوسع نحو الأمان

تتجذر فكرة اعتبار الوكلاء 'داخلين غير موثوقين' في الصناعة الأوسع أيضاً. كانت مايكروسوفت عضواً مؤسساً في منصة 'Open Agent Safety Platform' الجديدة من Nvidia، والتي حظيت بدعم أكثر من 100 شركة تقنية أخرى. تعزل هذه المنصة الوكلاء في بيئات آمنة ويمكنها مراقبة السلوك وإيقافه عبر العتاد، مما يشبه 'مفتاح إيقاف'. ويتبع ذلك إعلان مايكروسوفت عن أجهزة 'Surface Laptop Ultra PCs' المصممة للوكلاء، والتي تعمل على شرائح Nvidia وتضم أماناً وتحكماً مدمجين.

المصادر

  • TechCrunchMicrosoft says AI agents are like insider threats as ‘frontier models can’t be trusted’

تابع التسلسل الزمني

تغطية الكيانات المرتبطة