الذكاء الاصطناعي

التدريب الموزع عبر Ray Train DLCs وEFA على EKS

تتيح حاويات Ray Train المخصصة للتعلم العميق تشغيل نماذج الذكاء الاصطناعي الموزعة بكفاءة على منصة Amazon EKS، متجاوزة تعقيدات بناء الصور البرمجية وتكوين حزم الشبكات والتوافق.

رضوان عبدالهاديمحرر وكاتب تقني

نُشر: 29 أكتوبر 2026 · آخر تحديث: 29 أكتوبر 2026 · 4 دقائق قراءة

التدريب الموزع عبر Ray Train DLCs وEFA على EKS — الصورة: AWS Machine Learning Blog

تحديات بناء الحاويات للتدريب الموزع

عادة ما يتمثل العقبة الأكبر أمام توسيع نطاق تدريب نماذج الذكاء الاصطناعي عبر العقد المختلفة في حاوية التطبيق وليس في كود النموذج نفسه. فكل حاوية تحتاج إلى نفس إصدار بيئة تشغيل CUDA، ومكتبة PyTorch المصممة خصيصاً لها، ومكتبة الاتصالات الجماعية (NCCL)، إضافة إلى مكتبات واجهة الشبكة المرنة Elastic Fabric Adapter (EFA) المستخدمة في الحوسبة عالية الأداء، والمكون الإضافي AWS OFI NCCL الذي يربط بينهما، فضلاً عن إصدار محدد من بيئة تشغيل Ray يتفق عليه مشغلو المجموعات.

إن عملية بناء هذه الصورة البرمجية وإعادة بناءها مع كل تحديث يطرأ على أي من هذه المكونات تمثل مشروعاً مستقلاً بحد ذاته، بعيد كل البعد عن المهمة الأساسية المتمثلة في تدريب النموذج المطلوب. وهنا يأتي دور حاويات التعلم العميق Ray Train Deep Learning Container التي توفرها أمازون ويب سيرفيسز AWS، حيث تقوم بدمج الحزمة كاملة واختبارها كوحدة واحدة ونشرها في سجل الحاويات العام لتظل محدثة وجاهزة للاستخدام الفوري دون أي مجهود إضافي من المطورين.

إدارة العقد والتنسيق باستخدام KubeRay وEKS

تعمل منصة Ray على تنفيذ المهام عبر عدة أجهزة ككتلة واحدة من خلال أدوار واضحة؛ فرأس Ray يتولى التنسيق وتشغيل متجر التحكم العام لمتابعة حالة الكتلة، بالإضافة إلى لوحة التحكم وخادم المهام الذي يتم إرسال المهام إليه. بينما توفر عقد عمال Ray وحدات معالجة الرسوميات وتنفذ عمليات التدريب الفعلية، حيث تنضم كل عاملة إلى الكتلة عبر الاتصال بعنوان الرأس عند بدء التشغيل على بيئة Kubernetes.

ونظراً لعدم وجود إدراك مسبق لكتلة Ray داخل نظام Kubernetes، تبرز حاجة ماسة لأداة تتولى إنشاء حاويات الرأس والعمال، وتشغيلها بالأدوار الصحيحة، واستبدال الحواضن المعطلة. وهنا تتدخل أداة KubeRay المتاحة كمصدر مفتوح لإضافة موارد كتلة RayCluster، مما يتيح وصف مجموعة الرأس ومجموعة العمال في ملف بيان واحد، لتقوم الأداة ببناء الكتلة والحفاظ على استقرارها بشكل تلقائي وسلس.

تبسيط البنية التحتية وتشغيل النماذج دون بناء صور

تعتمد عملية النشر على صورة برمجية واحدة تحمل وسماً محدداً لتشغيل كل من رأس Ray وعماله، سواء تم تشغيلها عبر خدمة Amazon Elastic Kubernetes Service أو مباشرة عبر مثيلات أمازون للحوسبة المرنة Amazon EC2. وكل ما يحتاج المطور لإضافته هو ملفات التكوين المخصصة التي تحدد نوع المثيلات، وعدد وحدات معالجة الرسوميات المخصصة لكل حاوية، وبروتوكول الشبكة المستخدم، والحزم الإضافية التي قد يتطلبها تنفيذ مهمة معينة، وكل ذلك يتم ضبطه من خارج الصورة الأساسية.

تتيح هذه المقاربة استخدام حاويات التدريب مباشرة كما تم نشرها لضبط نماذج اللغة الكبيرة مثل Qwen باستخدام تقنيات التوازي عبر وحدات معالجة الرسوميات المتعددة. وبفضل احتواء الحاوية مسبقاً على حزمة EFA، فإن عمليات الاتصال والتبادل البياني بين العقد المختلفة تنشط تلقائياً بمجرد طلب الحواضن لها، مما ألغى الحاجة لإنشاء أي صور برمجية جديدة طوال دورة العمل.

تحسين الأداء الشبكي وتجاوز أخطاء التكوين

تعد شبكات الاتصال النقطة الأكثر حساسية التي تواجه فرق العمل في الحوسبة الموزعة؛ إذ إن أي توافق خاطئ في الإعدادات لا يؤدي بالضرورة إلى ظهور خطأ صريح، بل يتسبب في تراجع مكتبة NCCL لاستخدام مقابس TCP العادية، مما ينعكس سلباً على الأداء وينفذ المهمة بجزء بسيط من السرعة الممكنة. وفي المقابل، يتم بناء وتجارب تلك المكتبات مجمعة داخل الحاوية المعتمدة لضمان أعلى كفاءة ممكنة.

تقوم الحاوية بشكل افتراضي بضبط متغيرات الشبكة والاتصال لتتلاءم مع بيئة EFA، بينما تتيح المتغيرات البيئية إمكانية تعديل السلوكيات وتخصيص الحزم البرمجية لكل مهمة على حدة عبر بيئة التشغيل وقت التنفيذ دون الحاجة لتعديل الصورة الأصلية أو إصدار وسوم برمجية جديدة، وهو ما يمنح فرق الذكاء الاصطناعي مرونة عالية في تجربة النماذج وتوسيع نطاقها.

إدارة الاعتماديات والتحكم بالإصدارات

تتضمن الحاوية مسبقاً حزمة التدريب الخاصة بمكتبات HuggingFace، مما يعني أن المهام القياسية لا تتطلب إضافة أية حزم جديدة في البداية. وعندما تتطلب التجربة إضافة مكتبة غير متوفرة، تستطيع بيئة Ray تثبيتها تلقائياً عند إرسال المهمة عبر آليات بيئة التشغيل المتاحة، مع الاحتفاظ ببنية الصورة البرمجية دون أي تغيير يذكر أو الحاجة لتوليد وسوم جديدة.

يتيح تثبيت الإصدارات الفرعية المحددة مثل الإصدارات المعتمدة حالياً إمكانية إعادة إنتاج النتائج بدقة عبر العمليات المتتالية للكتلة البرمجية. كما تتيح الرموز البرمجية الكاملة تجميد البنيات عند الحاجة لضمان الحصول على تطابق تام للنتائج، مما يسهل عمليات المتابعة والتدقيق المستمر لمشاريع الذكاء الاصطناعي الضخمة داخل البنى السحابية الموزعة.