نظام vLLM يتبنى النقل الثنائي لـ KV لخفض وقت الرمز الأول
أعلنت مدونة تعلم الآلة في أمازون عن تحسينات بارزة في إطار vLLM تعتمد على نقل ذاكرة التخزين المؤقت للـ KV في الاتجاهين، مما يعزز أداء مهام الوكلاء الذكية ذات الدورات المتعددة.

تحديات مهام الوكلاء متعددة الدورات
تواجه تطبيقات الذكاء الاصطناعي ووكلاء المحادثة تحديات تقنية تتمثل في إعادة معالجة سياق المحادثة المتنامي مع كل دورة جديدة، مما يؤدي إلى زيادة ملحوظة في زمن الوصول واستهلاك قدرات المعالجة. وفقاً لما نشرته AWS Machine Learning Blog فإن هذا التكرار المستمر في معالجة التعليمات والنتائج السابقة يستهلك الموارد ويؤثر على كفاءة الاستجابة.
تعتمد الهندسة التقليدية لفصل عمليات التعبئة المسبقة عن التوليد على تدفق أحادي الاتجاه لنقاط الذاكرة المؤقتة للـ KV، وهو ما ينتج عنه فقدان للبيانات المخزنة عند الانتقال بين العقد، مما يضطر النظام لإعادة حساب الرموز السابقة.

آلية العمل الثنائية لنقل ذاكرة KV
تعتمد الميزة الجديدة على السماح لعقد التوليد بإعادة كتل الذاكرة المؤقتة المحوسبة مسبقاً إلى عقد التعبئة المسبقة، وذلك لتقليل الحسابات المتكررة في الدورات اللاحقة. تشير تفاصيل التقنية المتاحة في مستندات Prefill-decode (P-D) disaggregation إلى تحسين كفاءة استخدام الموارد وتسريع الاستجابة.
تعتمد البنية على تنسيق متطور يربط بين العقد المختلفة عبر شبكات فائقة السرعة، مما يضمن استمرارية السياق دون الحاجة لإعادة إنشاء التمثيلات من الصفر.

نتائج الأداء على البنية التحتية السحابية
أظهرت الاختبارات القياسية التي أجريت باستخدام مثيلات أمازون إس تو على مجموعات مخصصة تفوقاً واضحاً في خفض زمن الرمز الأول. وقد استخدمت الاختبارات شبكات AWS EFA التي تتيح نقل البيانات مباشرة بين ذواكر المعגלات بفضل تقنيات الوصول المباشر للذاكرة البعيدة.
سجلت التقنية انخفاضاً في زمن الوصول وصل إلى أضعاف مضاعفة لبعض النماذج الكبيرة مثل نماذج المعالجة المتقدمة، مما يؤكد جدوى هذا التوجه الهندسي في البيئات الإنتاجية الضخمة.

تطوير موصلات NIXL ودور الموجه الواعي
تم توسيع نطاق عمل موصلات KV connector لتدعم الاستهلاك المتبادل للكتل بين العقد المختلفة، على الرغم من اختلاف الأدوار المعمارية بين عقد التعبئة وعقد التوليد. يتطلب هذا التكامل الدقيق إدارة برمجية متطورة تضمن توافق نقل البيانات عبر الشبكة.
إلى جانب الموصلات، يلعب الموجه الواعي بذاكرة التخزين المؤقت دور العقل المدبر في تتبع معرفات المحادثات وتوجيه البيانات بكفاءة بين مكونات النظام المختلفة دون الحاجة لاستعلامات معقدة.

آفاق الاستخدام وإعادة إنتاج النتائج
تتيح هذه التحديثات للمطورين بناء مساعدين محادثة أكثر كفاءة واستجابة للطلبات المتعددة المعقدة، مع إمكانية الاطلاع على تفاصيل التطبيق عبر example proxy المتاح لمجتمع المطورين للاستفادة منه في البيئات المخصصة.
يمكن للمهندسين الراغبين في التحقق من النتائج الرجوع إلى Reproducing our results guide المتاح عبر منصات التطوير المفتوحة لمتابعة خطوات الضبط والاختبار بالتفصيل.
المصادر
- AWS Machine Learning BlogImprove TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
تابع التسلسل الزمني





