أفضل ممارسات إدارة حوكمة Amazon SageMaker HyperPod
توضح أحدث ممارسات AWS كيفية إدارة حوسبة التعلم الآلي المتسارعة مع الحفاظ على حدود البنية التحتية الصارمة.
رضوان عبدالهاديمحرر وكاتب تقني
تحديات حوكمة الحوسبة المشتركة
يوفر Amazon SageMaker HyperPod لفرق التعلم الآلي وصولاً إلى مساحات كبيرة من الحوسبة المتسارعة لتدريب النماذج وضبطها. بينما تكون الإعدادات التقنية عادةً مباشرة عند مشاركة عدة فرق لعنقود واحد، فإن التحدي الحقيقي يكمن في الحوكمة. يجب تحديد الفرق المصرح لها باستخدام العنقود، وكمية الطاقة المخصصة لكل فريق، وآلية التعامل مع المنافسة على الموارد، ومن المسؤول عند انحراف الاستخدام عن السياسات.
تضيف Amazon SageMaker Unified Studio بعداً آخر لهذه المعادلة، حيث تتيح ربط عنقود HyperPod بمشروع محدد، مما يسمح لأعضاء الفريق بإطلاق الأحمال من مساحة عملهم. ورغم أن هذه الميزة تزيد من سهولة الاستخدام، إلا أن تعدد الفرق التي ترى نفس العنقود يجعل ضوابط التحكم في الصلاحيات أكثر أهمية لضمان عدم تجاوز الحدود المسموح بها.
نموذج التشغيل والفصل بين الأدوار
يوفر هذا الفصل بين واجهات الاستخدام وإدارة البنية التحتية نموذج تشغيلي مفيداً. يمكن لفرق البنية التحتية إدارة العناقيد عبر عمليات السحابة القياسية، بينما تُعرض الحوسبة المعتمدة لفرق التعلم الآلي في سياق مشاريعهم. يهدف هذا النهج إلى تصميم حدود البنية التحتية، وإدارة الوصول، وتوزيع الطاقة المشتركة، وتشغيل HyperPod بشكل متسق عبر المؤسسة.
يعتمد النموذج المقترح على فصل الإدارة التنظيمية عن وصول المشروع وتشغيل العنقود. كل طبقة من هذه الطبقات تجيب عن سؤال مختلف وتستخدم ضوابط مختلفة. يجب النظر إلى هذه الضوابط كطبقات متكاملة، حيث لا يستبدل ربط HyperPod بالعنقود ضوابط IAM أو EKS أو Slurm الأصلية، بل يضيف طبقة تعاونية فوقها.
طبقات التحكم الأربع
تتكون بيئة الحوكمة الجيدة من أربع طبقات رئيسية: المؤسسة، المشروع، العنقود، والعبء التشغيلي. يجب مراجعة كل طبقة في حدودها الخاصة لضمان التوافق. يشمل ذلك مراجعة أدوار المشروع، وأدوار الوصول للربط، وضوابط الوصول إلى EKS أو Slurm، وهوية العبء التشغيلي، وسياسات البيانات ومفاتيح AWS KMS، وسياسات الشبكة، وتقييدات عرض المهام، وسياسات الجدولة.
تُعتبر مشاريع Amazon SageMaker Unified Studio حدوداً للتعاون وليست حدود أمان تشغيلية قوية. لذلك، يجب إبقاء العنقود والجدولة وسعة المعالجات النادرة تحت حساب سعة واحد مخصص. يمكن للمستخدمين المعتمدين ومجموعات البيانات البقاء في نفس الحساب أو في حسابات مستهلكين منفصلة، مع توحيد إدارة العنقود في حساب السعة المركزي.
إدارة الوصول والبيانات
لضمان الأمان، يجب استخدام أدوار IAM وسياسات الموارد بدلاً من مجرد عضوية المشروع للتحكم في الوصول إلى دلاء Amazon S3 ومفاتيح AWS KMS والأسرار وسجلات الحاويات. تُستخدم سياسات المشروع ووحدات النطاق (domain units) لإدارة التعاون والتمثيل. في حالة استخدام Amazon EKS، يُنصح باستخدام مساحة اسم لكل مستأجر مع RBAC وأدوار هوية Pod، وسياسات شبكة ترفض الوصول افتراضياً، وأذونات تخزين ومفاتيح KMS محددة لكل مستأجر.
في حالة استخدام Slurm، يجب الاعتماد على محاسبة Slurm مع الحسابات الهرمية، وجودة الخدمة (QoS)، وسياسات الأولوية والمشاركة العادلة، والأقسام. كما يجب استخدام هوية نظام التشغيل وأذونات الملفات، وضوابط الشبكة، ومسارات البيانات المحددة لكل مستأجر لفصل البيانات بشكل فعال.
توزيع الطاقة والجدولة
لتوزيع مسرعات الحوسبة المركزية بشكل عادل، يجب استخدام حوكمة مهام HyperPod في عناقيد EKS، والتي تشمل الحصص، وفئات الأولوية، والإعارة والاستعارة، والإحلال. أما في عناقيد Slurm، فيتم استخدام الأقسام الأصلية، وجودة الخدمة، والأولوية، والمشاركة العادلة، والإحلال. تجدر الإشارة إلى أن Slurm لا يوفر نموذج إعارة واستعارة مماثلاً، وتحدد هذه الضوابط الجدولية متى يحصل العبء المصرح به على الحوسبة دون منح وصولاً للمساحات أو البيانات.
للعزل الأقوى داخل العنقود، يمكن استخدام عقد مخصصة أو مجموعات عقد وضوابط قبول. إذا كانت المتطلبات القانونية أو التنظيمية أو الأمنية تتطلب عزلاً بنيوياً صارماً، فيجب استخدام عنقود أو حساب منفصل. يمكن لوصول المستهلكين عبر الحسابات الحفاظ على ملكية مستوى الحساب دون تكرار العنقود المركزي.
تجربة الإدارة عبر Unified Studio
تتيح Amazon SageMaker Unified Studio لفرق التعلم الآلي التي تعمل بالفعل في مشروع اتباع مسار معتمد للوصول إلى حوسبة HyperPod المشتركة. يمكن للأعضاء العثور على العناقيد المرتبطة، ومراجعة الحالة والبيانات الوصفية، وفحص المهام والمقاييس المدعومة، والانتقال إلى JupyterLab دون الحاجة إلى استخدام قائمة بنية تحتية منفصلة. هذا يسهل عملية الإدارة مع الحفاظ على فصل الأدوار.
يُظهر هذا النموذج كيف يمكن للفرق الاستفادة من الحوسبة المعتمدة في سياق مشروعها، بينما تبقى عمليات العنقود وهويته وسياسات الجدولة تحت إدارة فريق البنية التحتية. يوفر هذا نهجاً قابلاً للتكرار لتقديم حوسبة HyperPod المعتمدة لفرق التعلم الآلي مع الحفاظ على الحوكمة الصارمة.
المصادر
- AWS Machine Learning BlogBest practices for Amazon SageMaker HyperPod administration and governance
تابع التسلسل الزمني
تغطية الكيانات المرتبطة
أخبار مرتبطة
إدارة مساحات SageMaker HyperPod مباشرة من SageMaker Studio
أعلنت AWS عن إمكانية إنشاء وإدارة مساحات Amazon SageMaker Spaces على مجموعات HyperPod EKS مباشرة من واجهة SageMaker Studio.
SageMaker HyperPod و Qumulo تتيحان تدريب نماذج الذكاء الاصطناعي عبر مناطق AWS
تتيح تقنية Qumulo مع SageMaker HyperPod تدريب نماذج الذكاء الاصطناعي من منطقة AWS مختلفة عن موقع البيانات، مما يحقق أداءً مطابقاً للتدريب المحلي دون تكرار نقل البيانات.
أمازون SageMaker AI تستعرض 13 تحديثاً تقنياً لتعزيز استدلال الذكاء الاصطناعي
تستعرض أمازون SageMaker AI أبرز تحديثات عام 2026 في منصتها لاستدلال نماذج الذكاء الاصطناعي التوليدي، مع التركيز على تحسين الكفاءة، التوسع، وسرعة التشغيل.
AWS تتيح بناء تطبيقات صوتية فورية عبر vLLM-Omni على SageMaker
تعتمد AWS على حاوية vLLM-Omni لتوزيع نموذج Qwen3-TTS على SageMaker AI، مما يتيح بثّ الصوت الفوري عبر اتصالات ثنائية الاتجاه لتحسين تجربة الوكلاء الصوتيين.
