مِخبارMIKHBAR
الحواسيب

Ai2 تعيد تصميم جدولة الحوسبة بالذكاء الاصطناعي

تواجه المؤسسات البحثية تحدياً في توزيع موارد الحوسبة النادرة. تكشف Ai2 عن نظام جديد يوازن بين الإنصاف والأثر العلمي.

Ai2 تعيد تصميم جدولة الحوسبة بالذكاء الاصطناعي

تحدي توزيع موارد GPU النادرة

تدير مؤسسة Ai2 آلاف معالجات NVIDIA H100 وB200 وB300 موزعة على عناقيد تتراوح سعتها بين 88 و1024 معالجاً. تخدم هذه البنية التحتية نحو 150 باحثاً يعملون في مجالات متنوعة تشمل تدريب نماذج اللغة الكبيرة (LLM) والتعلم المعزز للروبوتات. يواجه الفريق تحدياً حقيقياً حيث تتجاوز الطلبات المقدمة سعة المعالجات المتاحة بمعدل يتراوح بين مرتين وثلاث مرات، مما يعني أن كل ساعة حوسبة متاحة تتنافس عليها عدة مشاريع بحثية في آن واحد. ويمكن الرجوع إلى Hugging Face Blog للاطلاع على التفاصيل الأصلية للمصدر.

Ai2 تعيد تصميم جدولة الحوسبة بالذكاء الاصطناعي
صورة مرتبطة بالخبر من Hugging Face Blog · المصدر: Hugging Face Blog

أوجه القصور في نظام الأولويات التقليدي

اعتمدت المؤسسة سابقاً على نظام جدولة يعتمد على الأولويات، مما أدى إلى ظهور مشكلات تشغيلية متكررة. لاحظ الفريق ما يُعرف بـ "احتكار المعالجات" حيث يقوم المستخدمون بإبقاء مهام خاملة (No-op) على المعالجات لتجنب انقطاعها، مما يستهلك الموارد دون إنتاجية فعلية. كما حدث تضخم في الأولويات حتى أصبحت جميع المهام تحمل مستوى "مرتفع"، مما حرم المشاريع ذات الأولوية المنخفضة من الوصول إلى الموارد. اضطر مهندسو الدعم إلى قضاء وقت طويل في التفاوض مع الفرق لإيقاف المهام المحمية من الانقطاع عند الحاجة إلى صيانة العتاد.

Ai2 تعيد تصميم جدولة الحوسبة بالذكاء الاصطناعي
صورة مرتبطة بالخبر من Hugging Face Blog · المصدر: Hugging Face Blog

مفارقة المصالح الفردية والمصلحة العامة

يصف الباحثون هذا السيناريو بأنه "مأساة الشائع" (Tragedy of the Commons)، حيث يسعى كل فرد لتعظيم نتائجه الخاصة على حساب الكفاءة الكلية للنظام. تشير أبحاث سابقة، مثل ورقة عام 2011 حول الإنصاف في الموارد السائدة (Dominant Resource Fairness)، إلى أن المستخدمين يميلون إلى إخفاء القيمة الحقيقية لمهامهم أو الاحتفاظ بالموارد حتى عندما يؤدي ذلك إلى تدهور الأداء العام. حاولت Ai2 سابقاً معالجة ذلك عبر منح فرق معينة حصرية على مجموعات من المعالجات، لكن هذا الحل كان خشناً وأدى إلى ترك معالجات فارغة في أوقات عدم استعداد الفرق للتشغيل.

الانتقال إلى نموذج الميزانيات الزمنية

قرر فريق البنية التحتية في Ai2 الانتقال من نموذج ملكية المعالجات إلى نموذج تخصيص الوقت. بدلاً من منح الفرق حصرية على أجهزة محددة، يتم تخصيص نسبة من إجمالي وقت المعالجات لكل مشروع. يعتمد هذا النظام على مبدأ أن أولويات البحث العلمي هي مسألة استراتيجية يمكن مناقشتها واتخاذ قرار بشأنها مسبقاً، بينما يصعب التنبؤ بالطلب الفعلي على الحوسبة. يتيح هذا النهج للقادة التفكير كمستثمرين، حيث يقررون كيفية تمويل كل جهد بحثي بوقت حوسبة بناءً على تقديرهم للأثر المتوقع، مما يحوّل الجدولة من عملية فنية معقدة إلى عملية إدارية شفافة.

Ai2 تعيد تصميم جدولة الحوسبة بالذكاء الاصطناعي
صورة مرتبطة بالخبر من Hugging Face Blog · المصدر: Hugging Face Blog

آلية التوزيع الهرمي والإنصاف

يعتمد النظام الجديد على هيكل هرمي يسمح للمديرين بتوزيع وقت المعالجات بشكل متناسب على المشاريع والباحثين الذين يشرفون عليهم. يترجم هذا الهيكل الاستراتيجية البرنامجية مباشرة إلى حصة مضمونة من السعة الكلية. على سبيل المثال، إذا تم تخصيص 35% من السعة لمشروع معين، فإن هذا المشروع يحق له الوصول إلى هذه النسبة بغض النظر عن عدد المشاريع الأخرى في قائمة الانتظار. يتطلب النظام أن تكون كل طلبات الحوسبة مدعومة بميزانية زمنية، وإلا فإنها تصبح عرضة للانقطاع (Preemption).

Ai2 تعيد تصميم جدولة الحوسبة بالذكاء الاصطناعي
صورة مرتبطة بالخبر من Hugging Face Blog · المصدر: Hugging Face Blog

تأثير النظام الجديد على سلوك المستخدمين

في النظام السابق، كانت الأولوية العالية مجانية، مما شجع الجميع على استخدامها. أما الآن، فلا شيء مجاني؛ فأي محاولة للحصول على وقت حوسبة دون مبرر تستهلك من ميزانية الفريق. يؤدي هذا إلى جعل "الغش" في الجدولة مكلفاً مادياً (بموارد الحوسبة) مقارنة بالمشاركة الصادقة في النقاش حول زيادة الميزانية. يهدف هذا التصميم إلى جعل استغلال النظام أقل جدوى من الانخراط في عملية مراجعة الميزانيات المستمرة، مما يعزز الشفافية ويضمن أن تذهب الموارد إلى المشاريع ذات الأثر الحقيقي.

المصادر

تابع التسلسل الزمني

تغطية الكيانات المرتبطة