هاغينغ فيس تطلق Beam بنموذج مفتوح من 501 مليار معلمة
أعلنت هاغينغ فيس إتاحة Beam، أول نماذج مختبر Reflection الأميركي، بوصفه نموذجاً مفتوحاً موجهاً للبرمجة والاستخدامات الوكيلة. يجمع النموذج بين سعة 501 مليار معلمة وتشغيل فعلي يعتمد على 23 مليار معلمة لكل رمز.
رضوان عبدالهاديمحرر وكاتب تقني
نموذج مفتوح للاستخدام على البنية الخاصة
أصبح Beam متاحاً عبر Hugging Face بوصفه أول نموذج من مختبر Reflection الجديد في الولايات المتحدة. وتقول الشركة إن النموذج صُمم للفرق التي تريد تشغيل نموذج واسع النطاق على أجهزتها أو بنيتها التحتية أو خدماتها السحابية، مع إمكانية تخصيصه لحالات استخدام محددة. ويأتي الإصدار بترخيص Apache 2.0، ما يتيح استخدامه وتعديله وتوسيع تطبيقاته ضمن شروط هذا الترخيص. ويعرض الإعلان التفاصيل الفنية وخيارات التشغيل في Hugging Face Blog.
يركز Beam على البرمجة والمهام الوكيلة، وهو نموذج نصي فقط، أي إن المدخلات والمخرجات فيه نصية. وتصفه Reflection بأنه نموذج طويل السياق للاستدلال والعمل الوكيلي، بينما تعتمد بنيته على مزيج الخبراء، بحيث لا تُستخدم الشبكة كاملة لحساب كل رمز. ويتيح ذلك سرعة تشغيل أقرب إلى نموذج أصغر، مع الاحتفاظ بسعة إجمالية أكبر.
بنية 501 مليار معلمة وسياق من مليون رمز
يتكون Beam من 501 مليار معلمة، لكن 23 مليار معلمة فقط تكون نشطة لكل رمز. ويضم مفكك الترميز 52 طبقة و256 خبيراً في كل طبقة من طبقات مزيج الخبراء، مع تشغيل ثمانية خبراء لكل رمز. وتستخدم الطبقات الثلاث الأولى شبكة SwiGLU كثيفة، في حين تستبدل الطبقات الـ49 المتبقية بها كتل مزيج الخبراء. وتمثل الخبراء نحو 98.4% من إجمالي معلمات النموذج، وتبلغ السعة الوسيطة لكل خبير 2560.
تصل نافذة السياق إلى مليون رمز. وللتعامل مع هذا الامتداد، تستخدم معظم الطبقات انتباهاً بنافذة منزلقة تغطي آخر 512 رمزاً، بينما تنظر كل طبقة سادسة والطبقة الأخيرة إلى السياق الكامل. وينتج عن ذلك 43 طبقة منزلقة و9 طبقات عالمية. ووفق الوصف الفني، يقل نمو ذاكرة التخزين المؤقت لمفاتيح وقيم الانتباه إلى نحو 36 كيلوبايت لكل رمز، بدلاً من 208 كيلوبايت تقريباً لو احتفظت الطبقات الـ52 كلها بالتسلسل الكامل.
تستخدم طبقات الانتباه آلية grouped-query attention مع 48 رأساً للاستعلام وثمانية رؤوس للمفاتيح والقيم، إلى جانب RMSNorm. كما تتضمن البنية بوابة سيغمويد متعلمة تضبط القنوات قبل الإسقاط النهائي. وفي الطبقات العالمية، لا يُستخدم ترميز موضعي، بل يجري تحجيم للاستعلامات يتدرج ببطء مع عدد الرموز المرئية للمحافظة على دقة softmax مع امتداد السياق.
استدلال قابل للحفظ واستدعاء الأدوات
يدعم Beam إبقاء الاستدلال داخل السياق عبر آلية preserve_thinking، ما يسمح باستمرار مسار الاستدلال عبر الأدوار بدلاً من حصره في استجابة واحدة. كما يتيح استدعاء الأدوات باستخدام قواعد مخصصة. ويقدم النموذج خمسة مستويات للاستدلال هي low وmedium وhigh وxhigh وmax، ويكون medium هو المستوى الافتراضي.
تتضمن قدراته أيضاً نموذجاً مسوداً لفك الترميز التخميني باستخدام DFlash2، إلى جانب وصفات للاستدلال والضبط الدقيق الخاضع للإشراف والتعلم المعزز. وتذكر هاغينغ فيس أن فرقها عملت مع Reflection لتوفير وصفات SFT وRL، مع إتاحة التعلم المعزز الكامل للمعلمات عبر Miles. كما يتوافر دعم اليوم الأول في Transformers وSGLang وvLLM، ما يهيئ مسارات متعددة لتجربة النموذج أو دمجه في أنظمة خدمة قائمة.
إصدارات الدقة ومتطلبات العتاد
تتوفر نقاط تحقق Beam بصيغة BF16، ومنها Beam-1.0-501B-A23B، وبصيغة FP8، إضافة إلى إصدار NVFP4 الموجه أساساً إلى وحدات معالجة الرسوميات من عائلة NVIDIA Blackwell. ويبلغ حجم نقطة تحقق BF16 نحو تيرابايت واحد بصيغة safetensors، بينما يخفض NVFP4 الحجم إلى قرابة 280 جيجابايت عبر تخزين معظم المعلمات بدقة أربعة بتات مع إبقاء بعض الأجزاء بدقة BF16 للحفاظ على الدقة. أما إصدارات FP8 فتستهدف أيضاً شرائح Hopper وAmpere.
تقول هاغينغ فيس إن الطريقة العملية الأكثر ملاءمة لخدمة النموذج هي استخدام إصدار NVFP4، الذي يحافظ على معظم جودة إصدار BF16 وفق نتائج قدمها فريق Reflection. وتبلغ ذاكرة HBM3e في وحدة B200 نحو 180 جيجابايت؛ لذلك يمكن لوحدتين استيعاب الأوزان، لكن مع مساحة محدودة للتنشيطات وذاكرة KV. وتوصي المعطيات بالتخطيط لأربع وحدات B200، بسعة إجمالية تبلغ 720 جيجابايت، لإتاحة مجال أكبر للسياقات الطويلة والطلبات المتزامنة. كما تذكر إمكان تشغيله على عقدة تضم ثماني وحدات B200، أو وحدتي B300، أو ثماني وحدات RTX Pro 6000. ولمن لا يملك عتاد Blackwell، تقترح المادة تجربة النموذج عبر مزودي الاستدلال الخادميين.
أداة تشغيل وحوافز لمشاريع المجتمع
يأتي Beam مع أداة تشغيل مفتوحة المصدر مخصصة مبنية على Rust، وتصفها المادة بأنها مصممة لتقديم أفضل أداء للنموذج. وتوفر Reflection كذلك دعماً عبر مكتبات التشغيل الشائعة، مع إمكانية استخدام الوصفات المنشورة لنشر النموذج أو ضبطه أو بناء تجارب تعلم معزز حوله. ويتيح هذا الجمع بين أداة التشغيل الخاصة والمكتبات downstream اختبار النموذج بطرق مختلفة بحسب البنية والهدف.
وأعلنت Reflection تخصيص أرصدة على Hub بقيمة 10 آلاف دولار لأفضل المشاريع التي تستخدم Beam. وتشمل الأفكار المطروحة بناء عرض تجريبي على Spaces، أو تكميم النموذج لعتاد مفضل، أو إنشاء مجموعة بيانات اصطناعية لمشكلة محددة، أو بناء بيئة تعلم معزز، أو نشر نتائج معيارية. وللدخول في المبادرة، ينبغي مشاركة مستودع النموذج أو مجموعة البيانات أو المساحة على صفحة مستودع النموذج، ثم تجمع الشركة الروابط وتختار المشاريع الفائزة وتضيف الأرصدة إلى حسابات أصحابها.
المصادر
- Hugging Face BlogWelcome Beam: a 501B open model you can own, customize, and scale
تابع التسلسل الزمني
أخبار مرتبطة
AWS تتيح نشر نموذج Reflection Beam مفتوح الأوزان للبرمجة الوكيلية
تتيح AWS نشر نموذج Reflection Beam مفتوح الأوزان عبر SageMaker JumpStart وHyperPod Inference، مع دعم لأوزان NVFP4 وFP8 للتحكم في البنية التحتية.
مكتبة Transformers تتيح تشغيل نماذج GGUF محلياً بكفاءة عالية
أعلنت Hugging Face عن دعم نماذج GGUF عبر مكتبة Transformers، مما يتيح للمطورين تشغيل نماذج الذكاء الاصطناعي الضخمة على أجهزتهم المحلية بسهولة وتكامل تام.
Hugging Face تطلق TorchTPU لتشغيل نماذج الذكاء الاصطناعي على TPU
أعلنت Hugging Face عن دعم TorchTPU، مما يتيح تشغيل نماذج Transformers وDiffusers على وحدات معالجة TPU من Google بشكل أصلي وسريع.
TorchNeuron يسهّل تشغيل نماذج Hugging Face على AWS Trainium
أطلقت Hugging Face وAWS تقنية TorchNeuron لتوفير واجهة برمجية أصلية لنماذج الذكاء الاصطناعي على معالجات Trainium، مما يرفع نسبة دعم البنى المعمارية ويحسّن كفاءة التدريب والاستدلال.
