إنفيديا تطلق Nemotron 3.5 Transcribe لتحويل الصوت إلى نص متعدد اللغات
أطلقت إنفيديا نموذجاً جديداً مفتوح الأوزان يجمع بين النسخ الآلي، الترجمة، وتحديد المتحدثين، مع دعم 40 لغة وإمكانية التخصيص عبر أوامر نصية.
رضوان عبدالهاديمحرر وكاتب تقني
نموذج موحّد للمهام الصوتية المعقدة
أعلنت إنفيديا عن إطلاق نموذج Nemotron 3.5 Transcribe، وهو نموذج مفتوح الأوزان مصمم لتحويل الكلام المسجل إلى نص مفيد ومتعدد الاستخدامات. يتوفر النموذج حالياً على منصات Hugging Face وModelScope، ويجمع بين أربع مهام أساسية في نقطة تفتيش واحدة: النسخ الآلي، تحديد المتحدثين (Diarization)، الترجمة، والإجابة على الأسئلة الصوتية. يهدف هذا التوجه إلى معالجة القيود التقليدية في أنظمة النسخ التي غالباً ما تفشل في تحديد هوية المتحدثين أو التعامل مع المصطلحات المتخصصة بدقة.
يتميز النموذج بدعم واسع للغة، حيث ينسخ 40 لغة مختلفة، ويترجم 31 لغة منها إلى الإنجليزية أو العكس، كما يستطيع تحديد هوية المتحدثين في 13 لغة. يمكنه معالجة تسجيلات تصل مدتها إلى ساعة كاملة مع تمييز حتى 8 متحدثين، مما يجعله مناسباً للاجتماعات الطويلة والمقابلات التفصيلية. تتيح البنية المعمارية للمطورين توجيه المخرجات باستخدام لغة طبيعية، مما يوفر مرونة عالية في التحكم في شكل النص النهائي.
أداء متصدر في قوائم التقييم العالمية
حقق Nemotron 3.5 Transcribe نتائج رائدة في عدة قوائم تقييم مستقلة. على لوحة Hugging Face Open ASR Leaderboard، احتل النموذج المرتبة الأولى بين النماذج مفتوحة الأوزان في فئة الإنجليزية بنسبة خطأ في الكلمات (WER) متوسطة بلغت 5.33%. وفي فئة اللغات المتعددة، سجل أدنى نسبة خطأ متوسطة (4.62%) عبر سبع لغات، متفوقاً على النماذج المفتوحة الأخرى المقارنة.
أما في تقييمات تحديد المتحدثين، فقد تصدر النموذج قائمة David AI DAI-ASR-I18N متعددة اللغات بنسبة خطأ (DER) بلغت 18.26%، متفوقاً على نموذج Nemotron 3 Diarization المخصص من إنفيديا نفسه. كما حقق أدنى نسبة خطأ في مطابقة الكلمات (cpWER) في اختبار VoiceArena Diarization-Bench، مما يؤكد دقته في التعامل مع الكلام المتداخل والتسجيلات المعقدة.
كفاءة معمارية وهجينة
يعتمد النموذج على بنية معمارية هجينة تجمع بين شيفرة صوتي (Encoder) ولغة نموذجية تعمل بنظام الخبراء المختلطين (Mixture-of-Experts) الذي يدمج تقنيتي Mamba وTransformer. هذا التصميم يسمح بنشاط حوالي 4 مليارات معامل فقط لكل رمز، رغم أن إجمالي حجم النموذج يبلغ 30 مليار معامل. هذه الكفاءة تجعل النموذج قادراً على العمل على بطاقة رسومية (GPU) واحدة من إنفيديا، بدءاً من أنظمة DGX Spark وصولاً إلى أنظمة مراكز البيانات من الجيل Blackwell.
وفقاً لتقييمات Artificial Analysis، يقع النموذج على حدود باريتو (Pareto frontier) للدقة مقابل المعاملات النشطة، حيث يتساوى مع نماذج أكبر حجماً في الدقة لكنه يستخدم سدس المعاملات النشطة تقريباً. هذا يجعله خياراً جذاباً للمطورين الذين يبحثون عن توازن بين الأداء العالي والتكلفة الحسابية المنخفضة.
أدوات Granary v2 للتخصيص والتدريب
إلى جانب النموذج، أطلقت إنفيديا خط أنابيب البيانات Granary v2 متعدد اللغات، المتاح على Hugging Face وModelScope. يتيح هذا الخط للمطورين الوصول إلى بيانات منسقة وأدوات NeMo Speech الدقيقة لضبط النموذج (Fine-tuning) على احتياجاتهم الخاصة. بدلاً من الاعتماد فقط على الأوامر النصية، يمكن للمطورين تعريف الشكل الكتابي المطلوب وتكييف النموذج مع اللهجات والمصطلحات التي تظهر في تطبيقاتهم الفعلية.
في دراسة حالة طبية، أظهر ضبط النموذج على مصطلحات طبية محددة انخفاضاً نسبياً بنسبة 45.8% في معدل خطأ الكلمات (WER) مقارنة بأفضل أوامر نصية (Prompts) ممكنة. هذا يؤكد فعالية التدريب المخصص في التعامل مع المجالات المتخصصة حيث تكون الدقة في النطق والإملاء أمراً حاسماً.
تطبيقات عملية ومرونة في الاستخدام
تتيح مرونة النموذج للمطورين الحصول على مخرجات مختلفة من نفس التسجيل الصوتي بناءً على التعليمات المقدمة. على سبيل المثال، يمكن طلب نسخ التسجيل مع تسمية كل متحدث، أو طلب ترجمة النص، أو حتى الإجابة على أسئلة محددة حول محتوى التسجيل. تدعم البنية أيضاً الطوابع الزمنية على مستوى الكلمة (Word-level timestamps)، مما يتيح ربط النص بالوقت الدقيق في الفيديو أو الصوت.
أظهرت شركة Agora، التي توفر بنية تحتية للصوت والفيديو في الوقت الفعلي، كيف يمكن استخدام هذه الميزات في الفصول الدراسية. من خلال استخدام الطوابع الزمنية، يمكن عرض النص المنسوخ بجانب إعادة تشغيل التسجيل، مما يساعد الطلاب على رؤية ما قيل ومتى قيل. هذا التطبيق يوضح كيف يمكن تحويل التسجيلات الصوتية إلى موارد تعليمية تفاعلية وسهلة الاسترجاع.
المصادر
- Hugging Face BlogNVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt
تابع التسلسل الزمني
تغطية الكيانات المرتبطة
أخبار مرتبطة
NVIDIA وHugging Face يطلقان روبوت Microduck مع Isaac Lab 3.0
يتيح إطار عمل Isaac Lab 3.0 تدريب روبوت Microduck ثنائي القوائم على المشي في المحاكاة ثم نقله فعلياً، مع تصدير السياسات بصيغة ONNX للمشاركة على Hugging Face Hub.
إنفيديا تطلق نموذجاً مفتوحاً لتحويل الكلام إلى نص
أطلقت شركة إنفيديا نموذجاً مجانياً ومفتوح الأوزان لتحويل الكلام إلى نص يدعم 40 لغة، مستهدفاً قطاعات الاجتماعات والخدمات الطبية بتطبيقات الذكاء الاصطناعي.
إنفيديا تطلق مكتبة SimReady Central للأصول ثلاثية الأبعاد
أعلنت إنفيديا عن إطلاق SimReady Central، وهي مكتبة مفتوحة تضم أكثر من 2000 أصل ثلاثي الأبعاد جاهز للمحاكاة، لتسهيل بناء بيئات تدريب الروبوتات والتوائم الرقمية.
NVIDIA تكشف عن Cosmos3-H-Dreams لمحاكاة الجراحة التفاعلية
تطلق NVIDIA نموذج Cosmos3-H-Dreams الذي يحوّل تسجيلات جراحات حية إلى محاكاة تفاعلية فورية، مدعوماً بتقنيات الذكاء الاصطناعي لتدريب الروبوتات الجراحية بدقة عالية.
