أمازون تطلق فهرسة SOCI لتسريع مهام SageMaker AI
أعلنت أمازون عن دمج تقنية فهرسة OCI القابلة للبحث (SOCI) في خدمات SageMaker AI، مما يتيح بدء حاويات التعلم العميق في ثوانٍ بدلاً من دقائق، مع الحفاظ على أداء التدريب دون تغيير.

إزالة التحميل الكامل من المسار الحرج
تواجه فرق الهندسة في التعلم العميق تحدياً زمنياً ومالياً كبيراً يتمثل في وقت تحميل صور الحاويات. كل دقيقة يقضيها النظام في تحميل الصورة تُحتسب كوقت تشغيل مدفوع الأجر دون تحقيق تقدم فعلي في بناء النموذج. مع تزايد حجم صور التعلم العميق الحديثة لتتجاوز 10 غيغابايت، أصبح هذا التحميل عبئاً ثقيلاً يضيف دقائق إلى كل مهمة، خاصة في عمليات الضبط الدقيق للهوامش (Hyperparameter Tuning) التي تتطلب تشغيل مئات المهام المتزامنة. أعلنت أمازون عن إطلاق فهرسة Seekable OCI (SOCI) لمهام التدريب والمعالجة في Amazon SageMaker AI، وهي تقنية تهدف إلى إزالة التحميل الكامل للصورة من المسار الحرج للتنفيذ.
آلية عمل التحميل الكسول
تعتمد هذه التقنية على مفهوم التحميل الكسول (Lazy Loading)، حيث لا يقوم النظام بتحميل الصورة كاملة قبل بدء التنفيذ. بدلاً من ذلك، يستخدم مؤشر SOCI، وهو بيانات وصفية (Metadata) توضح موقع كل ملف داخل الصورة، لجلب الملفات الضرورية فقط لإقلاع الحاوية فوراً. يتم تخزين هذا المؤشر في Amazon ECR كعنصر مستقل متوافق مع معيار OCI، مما يعني أن بصمة الصورة الأصلية والتواقيع الرقمية تبقى صالحة دون تغيير. بينما تبدأ المهمة في الثواني الأولى، يتم بث بقية الملفات في الخلفية تدريجياً أثناء تشغيل الكود، مما يضمن استمرارية العملية دون توقف.

نتائج الأداء والاختبارات المعيارية
أجرت أمازون اختبارات مقارنة بين التحميل القياسي عبر Docker والتحميل الكسول باستخدام مؤشر SOCI على نطاق واسع. أظهرت النتائج أن زمن التحميل انخفض من دقائق إلى ثوانٍ عبر جميع أحجام الصور، بدءاً من 1.8 غيغابايت وصولاً إلى 35.4 غيغابايت. في حين استغرق التحميل القياسي للصورة الأكبر 7 دقائق و17 ثانية، لم يتجاوز التحميل الكسول 11 ثانية، مما يمثل تحسناً يتراوح بين 8 و46 ضعفاً. كما أكدت الاختبارات أن هذه المكاسب تحققت عبر 13 تكويناً مختلفاً لنوع وحجم المعالج، حيث حافظ التحميل الكسول على زمن ثابت بين 6 و8 ثوانٍ، بينما تراوح التحميل القياسي بين 3 دقائق و4 دقائق، مما يوفر تسريعاً يقارب 34 ضعفاً في جميع الحالات دون الحاجة لتغيير نوع المعالج.

تأثير الفهرسة على أداء التدريب
سعت أمازون إلى قياس الأثر الدقيق على أداء التدريب نفسه وليس فقط على زمن البدء. شملت الاختبارات تصنيف الصور باستخدام نموذج ResNet-50 على مجموعة بيانات Imagenette، بالإضافة إلى ضبط دقيق لنموذج لغة كبير (Qwen2.5-0.5B) على مجموعة بيانات alpaca-cleaned. أظهرت النتائج أن أداء التدريب من الحقبة الثانية (Epoch) فصاعماً كان متطابقاً تماماً بين النظامين القياسي والكسول. لاحظ الباحثون زيادة طفيفة في زمن الحقبة الأولى تتراوح بين 3 و16 ثانية، ناتجة عن جلب الملفات التي يلمسها إطار العمل لأول مرة. ومع ذلك، فإن هذا التكلفة الزمنية المؤقتة تُعوَّض بفارق كبير في زمن التحميل الأولي، مما يؤدي إلى إنهاء كل مهمة أسرع بمقدار 1 إلى 6 دقائق مقارنة بالتحميل القياسي.
التبني التلقائي والتوافق
تتميز هذه الميزة بسهولة التبني، حيث يقوم SageMaker AI بالتحقق تلقائياً من وجود مؤشر SOCI للصورة المحددة عند إنشاء المهمة. إذا كان المؤشر موجوداً، يتم تفعيل التحميل الكسول تلقائياً؛ وإذا لم يكن موجوداً، يعود النظام إلى التحميل القياسي دون أي تدخل من المطور. هذا التصميم يضمن أن إضافة الفهرسة لن تعطل أي سير عمل قائم، بل تضيف فقط سرعة بدء تشغيل أعلى. يمكن للمستخدمين إما استخدام صور AWS Deep Learning Containers (DLC) المفهرسة مسبقاً، أو إضافة مؤشر إلى صورهم الخاصة، دون الحاجة لإجراء أي تغييرات على تعريف المهمة أو نقطة الدخول أو قنوات البيانات.

الأدوات الداعمة والبنية التحتية
تعتمد هذه التقنية على بنية تحتية مفتوحة المصدر تدعمها أدوات مثل containerd و SOCI snapshotter، مما يضمن التوافق مع المعايير الصناعية السائدة. توفر أمازون أيضاً أدوات مثل Finch و nerdctl لمساعدة المطورين على إنشاء وإدارة هذه المؤشرات محلياً قبل رفعها إلى السحابة. هذا النهج يضمن مرونة عالية في التكامل مع بيئات التطوير الحالية، حيث يمكن للفرق الاستفادة من الفوائد دون إعادة بناء بنية تحتية كاملة، مما يعزز كفاءة العمليات الهندسية ويقلل من التكاليف التشغيلية المرتبطة بانتظار البنية التحتية.
المصادر
- AWS Machine Learning BlogAnnouncing SOCI-indexed images for faster SageMaker AI jobs
تابع التسلسل الزمني





