مِخبارMIKHBAR
الذكاء الاصطناعي

نظام vLLM يتبنى النقل الثنائي لـ KV لخفض وقت الرمز الأول

أعلنت مدونة تعلم الآلة في أمازون عن تحسينات بارزة في إطار vLLM تعتمد على نقل ذاكرة التخزين المؤقت للـ KV في الاتجاهين، مما يعزز أداء مهام الوكلاء الذكية ذات الدورات المتعددة.

نظام vLLM يتبنى النقل الثنائي لـ KV لخفض وقت الرمز الأول

تحديات مهام الوكلاء متعددة الدورات

تواجه تطبيقات الذكاء الاصطناعي ووكلاء المحادثة تحديات تقنية تتمثل في إعادة معالجة سياق المحادثة المتنامي مع كل دورة جديدة، مما يؤدي إلى زيادة ملحوظة في زمن الوصول واستهلاك قدرات المعالجة. وفقاً لما نشرته AWS Machine Learning Blog فإن هذا التكرار المستمر في معالجة التعليمات والنتائج السابقة يستهلك الموارد ويؤثر على كفاءة الاستجابة.

تعتمد الهندسة التقليدية لفصل عمليات التعبئة المسبقة عن التوليد على تدفق أحادي الاتجاه لنقاط الذاكرة المؤقتة للـ KV، وهو ما ينتج عنه فقدان للبيانات المخزنة عند الانتقال بين العقد، مما يضطر النظام لإعادة حساب الرموز السابقة.

نظام vLLM يتبنى النقل الثنائي لـ KV لخفض وقت الرمز الأول
صورة مرتبطة بالخبر من AWS Machine Learning Blog · المصدر: AWS Machine Learning Blog

آلية العمل الثنائية لنقل ذاكرة KV

تعتمد الميزة الجديدة على السماح لعقد التوليد بإعادة كتل الذاكرة المؤقتة المحوسبة مسبقاً إلى عقد التعبئة المسبقة، وذلك لتقليل الحسابات المتكررة في الدورات اللاحقة. تشير تفاصيل التقنية المتاحة في مستندات Prefill-decode (P-D) disaggregation إلى تحسين كفاءة استخدام الموارد وتسريع الاستجابة.

تعتمد البنية على تنسيق متطور يربط بين العقد المختلفة عبر شبكات فائقة السرعة، مما يضمن استمرارية السياق دون الحاجة لإعادة إنشاء التمثيلات من الصفر.

نظام vLLM يتبنى النقل الثنائي لـ KV لخفض وقت الرمز الأول
صورة مرتبطة بالخبر من AWS Machine Learning Blog · المصدر: AWS Machine Learning Blog

نتائج الأداء على البنية التحتية السحابية

أظهرت الاختبارات القياسية التي أجريت باستخدام مثيلات أمازون إس تو على مجموعات مخصصة تفوقاً واضحاً في خفض زمن الرمز الأول. وقد استخدمت الاختبارات شبكات AWS EFA التي تتيح نقل البيانات مباشرة بين ذواكر المعגלات بفضل تقنيات الوصول المباشر للذاكرة البعيدة.

سجلت التقنية انخفاضاً في زمن الوصول وصل إلى أضعاف مضاعفة لبعض النماذج الكبيرة مثل نماذج المعالجة المتقدمة، مما يؤكد جدوى هذا التوجه الهندسي في البيئات الإنتاجية الضخمة.

نظام vLLM يتبنى النقل الثنائي لـ KV لخفض وقت الرمز الأول
صورة مرتبطة بالخبر من AWS Machine Learning Blog · المصدر: AWS Machine Learning Blog

تطوير موصلات NIXL ودور الموجه الواعي

تم توسيع نطاق عمل موصلات KV connector لتدعم الاستهلاك المتبادل للكتل بين العقد المختلفة، على الرغم من اختلاف الأدوار المعمارية بين عقد التعبئة وعقد التوليد. يتطلب هذا التكامل الدقيق إدارة برمجية متطورة تضمن توافق نقل البيانات عبر الشبكة.

إلى جانب الموصلات، يلعب الموجه الواعي بذاكرة التخزين المؤقت دور العقل المدبر في تتبع معرفات المحادثات وتوجيه البيانات بكفاءة بين مكونات النظام المختلفة دون الحاجة لاستعلامات معقدة.

نظام vLLM يتبنى النقل الثنائي لـ KV لخفض وقت الرمز الأول
صورة مرتبطة بالخبر من AWS Machine Learning Blog · المصدر: AWS Machine Learning Blog

آفاق الاستخدام وإعادة إنتاج النتائج

تتيح هذه التحديثات للمطورين بناء مساعدين محادثة أكثر كفاءة واستجابة للطلبات المتعددة المعقدة، مع إمكانية الاطلاع على تفاصيل التطبيق عبر example proxy المتاح لمجتمع المطورين للاستفادة منه في البيئات المخصصة.

يمكن للمهندسين الراغبين في التحقق من النتائج الرجوع إلى Reproducing our results guide المتاح عبر منصات التطوير المفتوحة لمتابعة خطوات الضبط والاختبار بالتفصيل.

المصادر

تابع التسلسل الزمني

تغطية الكيانات المرتبطة