AWS Batch تتيح إدارة حصص GPU بين فرق الذكاء الاصطناعي
تخفف الميزة الجديدة من عبء التنسيق اليدوي لإدارة موارد التدريب المشتركة، وتضمن تشغيل المهام ذات الأولوية القصوى أولاً.

تجاوز تحديات التنسيق اليدوي
مع توسع المؤسسات في عمليات الذكاء الاصطناعي وتزايد عدد الفرق التي تعتمد على موارد التدريب المشتركة، أصبح تنسيق الوصول إلى وحدات معالجة الرسوميات (GPU) تحدياً إدارياً كبيراً. كانت الفرق تحتاج سابقاً إلى إنشاء طوابير منفصلة وضبط حدود السعة يدوياً لضمان وصول الموارد المناسبة في الوقت المناسب، مما أضاف طبقات من التعقيد والتواصل بين الإداريين. لاحظت شركة AWS هذا العبء المتزايد، حيث كان العملاء يطلبون طريقة لتعريف الحصص لكل فريق ومشاركة السعة الخاملة تلقائياً، وهو ما دفع الشركة لتطوير ميزة جديدة تعالج هذه المشكلة جذرياً. ويمكن الرجوع إلى AWS Machine Learning Blog للاطلاع على التفاصيل الأصلية للمصدر.
آلية عمل إدارة الحصص
تعمل ميزة إدارة الحصص (Quota Management) كإمكانية جدولة جديدة داخل AWS Batch تتيح للإداريين تقسيم سعة الحوسبة إلى حصص (Quota Shares) منظمة حسب الفريق أو المشروع. كل حصة تتضمن حدود سعة محددة واستراتيجيات لمشاركة الموارد الخاملة. هذه الاستراتيجيات تحدد ما إذا كانت الموارد الخاملة ستُحجز، أو تُستعار لفرق أخرى لديها مهام معلقة، أو كليهما معاً. تعمل الحصة كطابور افتراضي متداخل ضمن طابور مهام رئيسي، مما يسمح لنظام AWS Batch بأولوية المعالجة للحصص التي لم تصل بعد إلى حدود سعتها القصوى.
الاستعارة التلقائية والاستبدال
تتميز الميزة الجديدة بقدرتها على إدارة الموارد الديناميكية دون تدخل بشري. عندما تصل مهام جديدة إلى حصة قد تكون قد أعارت سعتها لفرق أخرى، يقوم النظام تلقائياً باستعادة هذه الموارد من خلال عملية تسمى الاستبدال بين الحصص (Cross-share preemption). هذا يعني أن الإداريين لم يعودوا بحاجة إلى تتبع المهام المستعارة وإيقافها يدوياً. كما يمكن للنظام السماح للمهام بالاستعارة من حصص أخرى إذا كانت سعتها خاملة، مما يضمن عدم هدر الموارد المتاحة. هذه الآلية تزيد من استغلال البنية التحتية الحالية بشكل كبير.
أولوية المهام داخل الحصة
إلى جانب إدارة الموارد بين الفرق، تتيح الميزة تفعيل الاستبدال بناءً على الأولوية داخل الحصة الواحدة (In-share preemption). عند تفعيل هذه الخاصية، يمكن للمهام ذات الأولوية الأعلى استبدال المهام ذات الأولوية المنخفضة التي تكون في حالة مجدولة أو قيد البدء أو التشغيل. هذا يضمن بدء تنفيذ المهام الحرجة في مقدمة الطابور بأسرع وقت ممكن. توفر هذه المرونة خيارات متعددة للإداريين، من حجز سعة ثابتة لا تتأثر بأي استبدال، إلى السماح بمرونة كاملة في استعارة الموارد واستبدالها حسب الحاجة.
التكامل مع SageMaker
لإتاحة استخدام هذه الميزات، قامت AWS بتوسيع وحدة aws_batch داخل مكتبة SageMaker Python SDK. يسمح هذا التكامل للمطورين بإرسال مهام تدريب SageMaker برمجياً إلى طوابير AWS Batch التي تم تفعيل إدارة الحصص فيها. يتطلب الإعداد إنشاء سياسة جدولة (Scheduling Policy) وبيئة خدمة (Service Environment) وطابور مهام مخصص. توفر AWS أمثلة عملية عبر واجهة سطر الأوامر (CLI) ولوحة التحكم، بالإضافة إلى كتيبات تعليمية (Notebooks) توضح كيفية تحديد الحصص وتخصيص استراتيجيات المشاركة لكل فريق.
سيناريوهات الاستخدام العملية
توضح الأمثلة العملية ثلاثة سيناريوهات نموذجية: الأول لمهام الخلفية التي تستفيد من استعارة أكبر قدر من السعة المتاحة مع قبول الاستبدال لأن المهام تستخدم نقاط تحقق (Checkpointing). الثاني لمهام ذات أولوية متوسطة تفضل الانتظار بدلاً من التعرض للاستبدال المتكرر. والثالث لمهام حرجة تتطلب بدءاً فورياً دون انقطاع، حيث يتم حجز السعة بالكامل دون إعارة أو استعارة. هذه المرونة تتيح لكل فريق اختيار الإعداد الأنسب لطبيعة عمله، مما يحسن من كفاءة العمليات الكلية للمنظمة دون التضحية بأداء المهام الحساسة.
المصادر
- AWS Machine Learning BlogLend and borrow resources across teams with AWS Batch’s quota management for SageMaker Training jobs
تابع التسلسل الزمني





