مِخبارMIKHBAR
الذكاء الاصطناعي

ضبط نموذج GPT-OSS-20B للاستدلال متعدد اللغات على SageMaker

استعرضت مدونة تعلم الآلة من أمازون آليات تحسين نماذج الذكاء الاصطناعي مفتوحة الأوزان لتعزيز الاستدلال بلغات متعددة عبر منصة Amazon SageMaker HyperPod المتقدمة.

ضبط نموذج GPT-OSS-20B للاستدلال متعدد اللغات على SageMaker

تحديات الاستدلال متعدد اللغات في النماذج المفتوحة

تواجه فرق التطوير الهندسية تحديات ملحوظة عند نشر نماذج الاستدلال المفتوحة لخدمة المستخدمين غير الناطقين بالإنجليزية. فعلى سبيل المثال، يميل نموذج GPT-OSS-20B المفتوح الأوزان إلى إنتاج سلاسل التفكير باللغة الإنجليزية حصراً حتى عند تلقي تعليمات بلغات أخرى مثل الفرنسية أو الألمانية أو الإسبانية أو الإيطالية.

أظهرت اختبارات الأداء المكونة من خمسين مثالاً متعدد اللغات أن النموذج الأساسي يستدل باللغة الصحيحة بنسبة لا تتجاوز 22 بالمئة فقط، وهي نسبة تركزت بالكامل في الأمثلة الإنجليزية، مما يخلق الفجوة التي تستدعي تدخلات هندسية دقيقة عبر تقنيات التخصيص والضبط المتاحة على منصة [Amazon SageMaker HyperPod](https://aws.amazon.com/sagemaker/hyperpod/).

مقارنة تقنيات الضبط والتعلم التعزيزي

تتمحور عملية جسر الفجوة اللغوية حول مفاضلة أساسية بين الضبط الخاضع للإشراف، المعروف اختصاراً بـ SFT، وتقنيات التعلم التعزيزي القائمة على تحسين السياسة النسبية للمجموعات وتعرف بـ GRPO. يعتمد الاختيار الفعال على طبيعة الفجوة القائمة في قدرات النموذج قبل البدء بعمليات التعديل والتدريب.

أشارت التفاصيل التقنية الواردة في [AWS Machine Learning Blog](https://aws.amazon.com/blogs/machine-learning/) إلى أن الضبط الخاضع للإشراف يمنح النموذج سلوكاً جديداً لم يكن يمتلكه من قبل، بينما يعمل التعلم التعزيزي على صقل وتحسين سلوكيات يمتلكها النموذج أصلاً وقادراً على إنتاجها بنسب معينة.

منهجية التدريب واستخدام مجموعة البيانات

اعتمدت تجارب التحسين على مجموعة بيانات متخصصة في سلاسل التفكير متعددة اللغات، والتي تضم حالات تدريب وتحقق تغطي الإنجليزية والفرنسية والإسبانية والألمانية والإيطالية. يتلقى النموذج توجيهات النظام للعمل بلغة محددة، ويُطالب بإنتاج التفكير والإجابة معاً باللغة المستهدفة لتجاوز تحيزه القوي نحو الإنجليزية.

تم تنفيذ العمليات البرمجية والتجارب على البيئة الموزعة بالاستعانة بمستودعات الأكواد والملفات الإرشادية المتاحة عبر مشروع [awsome-distributed-ai](https://github.com/aws-samples/awsome-distributed-ai) على منصة جيت هاب، والتي تسهل عملية إعداد الحاويات ومسارات التشغيل للفرق التقنية.

ضبط نموذج GPT-OSS-20B للاستدلال متعدد اللغات على SageMaker
صورة مرتبطة بالخبر من AWS Machine Learning Blog · المصدر: AWS Machine Learning Blog

البنية التحتية والمواصفات التقنية للتنفيذ

استندت البنية التحتية لعمليات التدريب الموزع إلى بيئة متكاملة تديرها خدمة [Amazon SageMaker HyperPod documentation](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-hyperpod.html) معتمدة على تنسيق حاويات الكبريتس عبر خدمة إي كيه إس، ومستخدمة أنظمة تخزين عالية الأداء لملفات النماذج ونقاط الحفظ المؤقتة.

تضمنت العمليات استخدام محولات الرتب المنخفضة المعروفة بـ LoRA لضمان الكفاءة في استهلاك المعاملات الحسابية، وتوزيع أحمال العمل بين عقد الحوسبة المدعومة بوحدات معالجة الرسوميات عبر شبكات عالية السرعة لضمان استقرار تدفق البيانات وسرعة توليد النتائج.

النتائج النهائية وتقييم الأداء اللغوي

أسفرت عمليات الضبط الخاضع للإشراف عن قفزة هائلة في كفاءة النموذج، حيث ارتفعت نسبة دقة الاستدلال باللغة المطلوبة من 22 بالمئة للموديل الأساسي إلى 100 بالمئة بعد إتمام التدريب عبر جميع اللغات الخمس المشمولة في الاختبارات المعيارية.

أكدت النتائج أن الضبط الموجه ينجز الجزء الأكبر من المهمة المطلوبة لردم الفجوات اللغوية الكبيرة، بينما تساهم تقنيات التعلم التعزيزي اللاحقة في تقديم تحسينات إضافية قابلة للقياس عندما تتوافر مساحة كافية لتطوير الأداء القائم.

المصادر

تابع التسلسل الزمني

تغطية الكيانات المرتبطة