إطلاق ميزة النقل القائم على الدفع في vLLM لتحسين الأداء
تقدم منظومة [vLLM](https://github.com/vllm-project/vllm) تحسينات ملحوظة في أداء الاستدلال للنماذج اللغوية الكبيرة عبر تقنيات النقل المتقدمة.
رضوان عبدالهاديمحرر وكاتب تقني
مفهوم الفصل في الاستدلال وتحديات نقل الذاكرة
تعتمد [vLLM](https://github.com/vllm-project/vllm) كمنظومة مفتوحة المصدر لتشغيل وخدمة الننماذج اللغوية الكبيرة على فصل مراحل الاستدلال إلى مرحلتين أساسيتين هما مرحلة إعداد النصوص ومرحلة توليد الرموز، وهو ما يُعرف باسم [Prefill-decode (P-D) disaggregation](https://docs.vllm.ai/en/latest/features/disagg_prefill/)، مما يتيح توسيع نطاق كل مرحلة بشكل مستقل لتحسين كفاءة استخدام الموارد وسعة التحمل العامة.
رغم المزايا العديدة لفصل مراحل التشغيل، فإن هذا النهج يفرض تحدياً تقنياً يتمثل في ضرورة نقل ذاكرة التخزين المؤقت للمفاتيح والقيم بين خوادم الإعداد وخوادم التوليد قبل الشروع في توليد الرموز الفعلية، وهو ما يجعل كفاءة عملية النقل عاملاً حاسماً في تحديد زمن استجابة النظام وتأخير الاستعلام الأول.
آلية العمل التقليدية وأثرها على مسار الاستجابة
تعتمد الآلية الافتراضية للربط عبر [connector](https://docs.vllm.ai/en/latest/features/nixl_connector_usage/) على الأسلوب القائم على السحب، حيث يتولى الموجه نقل بيانات التعريف المصدرية إلى مثيل التوليد بعد انتهاء مرحلة الإعداد، ليقوم مثيل التوليد بعد ذلك بتهيئة عملية النقل وجلب الكتل المطلوبة بشكل متسلسل.
تتسبب هذه الخطوات التنسيقية المتعاقبة التي تتم بعد إتمام مرحلة الإعداد وقبل البدء في التوليد في إطالة المسار الحرج لزمن الاستجابة، مما يؤدي إلى زيادة ملحوظة في الوقت المستغرق للحصول على الرمز الأول خصوصاً عند التعامل مع معدلات طلبات مرتفعة في بيئات التشغيل المكثفة.
تقديم هندسة النقل القائم على الدفع لتحسين الكفاءة
كشف تقرير نشرته مدونة [AWS Machine Learning Blog](https://aws.amazon.com/blogs/machine-learning/push-based-kv-transfer-to-improve-ttft-and-tpot-for-disaggregated-inference-in-vllm/) عن تطوير موصل جديد يعتمد على الدفع لنقل بيانات التخزين المؤقت خارج المسار الحرج، مما يساهم في إزالة التأخيرات الناتجة عن خطوات التنسيق المتسلسلة بين خوادم المعالجة المختلفة.
تعمل هذه التقنية الجديدة على التداخل بين أعمال المُنتِج والمُستهلِك، حيث يقوم مثيل التوليد بتسجيل كتل الذاكرة المستهدفة مسبقاً بينما يواصل الطرف الآخر حساب ذاكرة التخزين المؤقت، مما يتيح بدء عملية النقل فور جاهزية الكتل دون انتظار دورة اكتشاف المعرفات من طرف المستهلك.
البنية التقنية وتنسيق العمليات الخلفية
تعتمد هندسة النقل القائم على الدفع على تنسيق متكامل بين عدة أطراف تشمل مثيل التوليد الذي يسجل الكتل المخصصة مسبقاً، ومثيل الإعداد الذي يطابق الطلبات ويصدر أمر النقل، وخيط معالجة خلفي مخصص ينفذ عملية كتابة البيانات بعيداً عن حلقة التنفيذ الأمامي لمحرك المعالجة.
يتم تمرير التسجيلات ونقاط التلاقي بكفاءة عالية عبر استخدام مكتبات النقل المباشر للذاكرة البعيدة، والاستفادة من شبكات التوصيل فائقة السرعة مثل [AWS EFA](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/efa.html) المتوفرة عبر أنواع الخوادم المدعومة في البنية التحتية للحوسبة السحابية.
النتائج المعيارية ومستويات الأداء المحققة
أظهرت اختبارات الأداء التي أجريت على عناقيد حوسبية متقدمة مزودة بشبكات الاتصال السريع المذكورة تحسناً كبيراً في مؤشرات الأداء الرئيسية، حيث ساهم النمط الجديد في تحقيق سرعة استجابة أفضل تصل إلى ثلاثة أضعاف لزمن الحصول على الرمز الأول مع نموذج كوين، إلى جانب تحسن بنسبة ثلاثين بالمائة في معدل زمن الرمز الناتج.
تؤكد هذه النتائج قدرة الحلول البرمجية الجديدة على تعزيز استجابة التطبيقات الذكية والعميلة، مع إمكانية إعادة إنتاج هذه النتائج عبر الأدوات البرمجية المتاحة في مستودعات المشروع الرسمية للاستفادة من المكاسب المتحققة على معالجات الرسوميات ووحدات [AWS Trainium](https://aws.amazon.com/ai/machine-learning/trainium/}.
المصادر
- AWS Machine Learning BlogPush-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
تابع التسلسل الزمني
تغطية الكيانات المرتبطة
أخبار مرتبطة
نظام vLLM يتبنى النقل الثنائي لـ KV لخفض وقت الرمز الأول
استكشف كيف يسهم النقل الثنائي لـ KV في vLLM بخفض زمن الوصول للرمز الأول بأكثر من ثلاثة أضعاف في مهام الوكلاء متعددة الأدوار.
AWS تحسّن أداء نماذج MoE على Amazon SageMaker AI
تكشف AWS عن تحسينات هندسية لنوى نماذج الخبراء المتعددين ترفع throughput حتى 10% وتسرّع ظهور أول رمز بنسبة تصل إلى 9% على H200.
أداة جديدة لمعرفة توافق نماذج الذكاء الاصطناعي مع شرائح AWS Trainium
تتيح مساحة تفاعلية جديدة على منصة Hugging Face للباحثين والمطورين التحقق بسهولة من توافق نماذج الذكاء الاصطناعي مع شرائح AWS Trainium.
وحدات TPU من جوجل تعمل رسمياً في مراكز بيانات ميتا
بدأت شركة ميتا تشغيل وحدات المعالجة Tensor التابعة لجوجل لأحمال عمل الذكاء الاصطناعي في بيئة الإنتاج باستخدام محركات استدلال جديدة ومفتوحة المصدر.
