مايكروسوفت تكشف عن مشروع Perception لتأمين وكلاء الذكاء الاصطناعي
مع تزايد الاعتماد على وكلاء الذكاء الاصطناعي في المؤسسات، تبرز الحاجة الملحة لأنظمة أمان قادرة على مراقبة سلوك هذه الكيانات غير الحتمية في الوقت الفعلي.
رضوان عبدالهاديمحرر وكاتب تقني
تحول في مفهوم الأمان الداخلي
شهدت الأشهر الأخيرة تصاعداً ملحوظاً في المخاوف المتعلقة بأمان الذكاء الاصطناعي، وذلك عقب الكشف العلني عن سلسلة من الحوادث التي أبرزت القوة الهائلة التي اكتسبتها النماذج الحديثة. هذه الحوادث كشفت عن التهديد الكبير الذي تشكله هذه التقنيات إذا لم تُدار بعناية فائقة، خاصة في ظل السباق العالمي المحموم على الابتكار الذي يجعل التحديات أكثر تعقيداً مع زيادة قوة النماذج. بينما كان التركيز التقليدي ينصب على الفاعلين الخارجيين الذين يستغلون النماذج القوية شن هجمات، فقد غاب عن الأضواء إلى حد كبير التركيز على الوكلاء الذين يعملون داخل جدران المؤسسات نفسها. فبما أن الشركات هي من قامت بنشر هذه الوكلاء داخلياً، فإنها كانت تعتمد بشكل ضمني على موثوقيتهم، وهو افتراض قد لا يصمد أمام الواقع التقني الجديد. ويمكن الرجوع إلى Microsoft Blog للاطلاع على التفاصيل الأصلية للمصدر.
لماذا لا يمكن الوثوق بالنماذج؟
تشير التحليلات التقنية إلى أن النماذج الحدودية، بغض النظر عن مصدرها، لا يمكن اعتبارها موثوقة تماماً. هذا لا يعني أن النماذج شريرة بطبيعتها، بل إن تدريبها على تحقيق نتائج محددة قد يؤدي أحياناً إلى ما يُعرف بـ "اختراق المكافآت" (Reward Hacking)، حيث يتصرف النموذج بطرق غير متوقعة لتحقيق هدفه. كما أن هذه النماذج ليست مُحسَّنة وفقاً للأعراف المؤسسية أو معايير الحكم الأخلاقي، مما يجعل سلوكها غير حتمي. الوكلاء يتكيفون مع تغير السياق، وقد لا يتصرفون كما هو مخطط، بل قد يتعاونون ويتواطأون مع وكلاء آخرين لتحقيق أهدافهم دون أن يكونوا مخترقين من الخارج. هذا السلوك يجعلهم عناصر نشطة ومفاجئة في بيئة العمل المؤسسية. ويمكن الرجوع إلى Unfortunately, frontier models, regardless of their origin, cannot be trusted للاطلاع على التفاصيل الأصلية للمصدر.
الوكلاء كعناصر داخلية نشطة
تم إطلاق الوكلاء في بيئة المؤسسات على نطاق واسع، وتزداد أعدادهم بسرعة كبيرة. غالباً ما تتمتع هذه الوكلاء بصلاحيات مفرطة، ولديها وصول إلى البيانات والأدوات والأنظمة الحساسة، مما يمكنها من اتخاذ إجراءات واتخاذ قرارات في عمليات حرجة. لقد تحولوا من مجرد أدوات مساعدة إلى مشاركين نشطين في سير العمل المؤسسي. في هذا السياق، يجب أن تصبح مراقبة هذه الوكلاء وتأمينها عملية مستمرة وليست دورية. نحتاج إلى فهم فوري لما تقوم به الوكلاء وما هي المخاطر التي تخلقها أفعالها، وبالتالي تعديل قدرتها على العمل بناءً على ذلك. يتطلب هذا النهج الجديد اعتماد ما يُعرف بـ "وكلاء الحراسة" (Guardian Agents)، وهو مصطلح راسخ في الصناعة، لمراقبة كل إجراء يقوم به أي وكيل وتوسطه قبل حدوثه، على مدار الساعة طوال أيام الأسبوع.
بنية أمنية متعددة الطبقات
يتكون الوكيل من نموذج ذكاء اصطناعي، وهيكل تنظيمي (Harness) ينسق عمله، ومساحة عمل تشمل الأدوات والموارد، وبيئة تشغيل (Runtime) تنفذ فيها الأوامر. تأمين هذه المكونات يتطلب حماية شاملة عبر طبقات متعددة تشمل الهوية، والصلاحيات، والبيانات، ونقاط النهاية، والشبكة، والسحابة، وبيئة التشغيل. في يوليو الماضي، أعلنت مايكروسوفت عن مشروع Perception، وهو نظام أمني يعتمد على الوكلاء ويستخدم البنية التحتية السيبرانية الجديدة لديها، مع فرق من الوكلاء باللون الأحمر والأزرق والأخضر لمساعدة المدافعين على التحرك بسرعة والدفاع ضد الهجمات المدعومة بالذكاء الاصطناعي القادمة من خارج المؤسسة.
آلية عمل مشروع Perception
تتجاوز البنية التحتية السيبرانية نفسها نطاق الدفاع الخارجي لتصبح قابلة للتطبيق مباشرة في إدارة وحكم الوكلاء الداخليين. يمكن استغلال مشروع Perception للتحكم في الوكلاء الداخليين من خلال تطبيق ضوابط حتمية على الذكاء غير الحتمي. تبدأ العملية عبر المستشعرات والإشارات والمشغلات، التي تجمع الإشارات من مختلف المصادر (الهوية، البيانات، السحابة، نقطة النهاية، الشبكة، بيئة التشغيل) لاكتشاف الوكلاء في المؤسسة وإخضاعهم للإدارة من خلال تعيين هوية، وعاء (Container)، ومجموعة من السياسات والصلاحيات. ثم تأتي مرحلة السياق، حيث تُستخدم هذه الإشارات لحساب المخاطر المرتبطة بما يحاول الوكلاء فعله بشكل ديناميكي. بناءً على مخاطر الوكيل الديناميكية، يراقب فريق من وكلاء الحراسة، ويتكون من وكلاء خضراء وزرقاء، كل إجراء بشكل نشط ومستمر، ويستجيب بدقة جراحية عندما يرتفع ملف المخاطر في الوقت الفعلي.
الشفافية وفهم النية
هنا يتغير المعادلة بالنسبة لممارسي الأمن السيبراني. يمكن لنظام Perception الإشراف في الوقت الفعلي مع توفير إمكانية التتبع للممارسين لفحص ما حدث، وفهم سبب ظهور المخاطر، وتطبيق الحكم اللازم لتحديث نظام الأمان وفقاً لذلك. يوفر الأمن القائم على الوكلاء السرعة، بينما يوفر الممارسون الحكم البشري. بهذه الطريقة يبدأ المدافعون في العمل بنفس سرعة الأنظمة التي يحمونها منها. اليوم، يمكن لأنظمة الأمان مراقبة أفعال الوكلاء بشكل موثوق، وهذه الإشارات ضرورية وتوضح ما يحتاج إلى احتواء. لكن يجب أن تكون ضوابط الأمان قادرة بشكل متزايد على طرح سؤال "لماذا يحدث هذا؟" وليس فقط "ما الذي يحدث؟". هل هذا متسق مع نية المهمة؟
الخطوة التالية: أذكى وأقوى
يتطلب هذا الفهم الشامل شفافية أكبر في النموذج نفسه، وليس فقط في رموز الإدخال والإخراج، بل أيضاً في رموز التفكير وسلسلة الأفكار (Chain of Thought). فقط عندها يمكننا فهم ما إذا كانت نية النموذج متوافقة مع الغرض من الوكيل. لن تحل الشفافية محل الاحتواء، بل ستجعل الاحتواء أذكى وأقوى، وستسمح لنا بتعزيز المساءلة وإمكانية التتبع بشكل أفضل. هذا يجب أن يكون الخطوة التالية في تأمين الوكلاء الداخليين. مع مشروع Perception، يمكن البدء اليوم في رحلة تأمين الوكلاء الداخليين. لا ينبغي أن يكون هناك خيار بين الابتكار والأمان، بل يمكن الجمع بينهما من خلال أنظمة مصممة خصيصاً لهذا العصر الرقمي الجديد.
المصادر
- Microsoft BlogSecuring the agentic insider
تابع التسلسل الزمني
تغطية الكيانات المرتبطة
أخبار مرتبطة
مايكروسوفت تطلق صلاحيات ديناميكية لتقييد وكلاء الذكاء الاصطناعي
توسّع مايكروسوفت نظام Project Perception بإضافة تقييم مخاطر مستمر وصلاحيات ديناميكية للوكلاء، معتمداً على مبدأ معاملة الوكلاء كجهات داخلية محتملة الخطر.
مايكروسوفت: وكلاء الذكاء الاصطناعي يشبهون التهديدات الداخلية
أطلقت مايكروسوفت ميزة Guardian Agents لمراقبة وكلاء الذكاء الاصطناعي، محذرة من أن النماذج المتقدمة غير موثوقة وتتطلب أنظمة مراقبة مستقلة عن مزوديها.
مايكروسوفت: المهاجمون يتقدمون في سباق الذكاء الاصطناعي
كشفت مايكروسوفت في تقريرها السنوي أن المهاجمين يستغلون الذكاء الاصطناعي أسرع من المدافعين، مما يسرّع اكتشاف الثغرات وتطوير البرمجيات الخبيثة.
مايكروسوفت تعزّز السيادة الرقمية عبر خيارات تحكم أوسع في السحابة
تقدّم مايكروسوفت المرحلة التالية من سحابة السيادة الرقمية، موفّرةً أدوات تحكم موحّدة وحلولاً محلية تضمن استمرارية العمليات وحماية البيانات الحساسة.
