مِخبارMIKHBAR
الحواسيب

NVIDIA تكشف عن Cosmos3-H-Dreams لمحاكاة الجراحة التفاعلية

تقدم NVIDIA نقلة نوعية في محاكاة العمليات الجراحية عبر نموذج Cosmos3-H-Dreams، الذي يولّد مشاهد داخلية واقعية تستجيب لحركة الأدوات في الوقت الفعلي.

NVIDIA تكشف عن Cosmos3-H-Dreams لمحاكاة الجراحة التفاعلية

من الطاولة إلى داخل الجسم

أعلنت شركة NVIDIA عن إطلاق نموذج Cosmos3-H-Dreams، وهو أحدث إضافة إلى سلسلة نماذج العالم التأسيسية (World Foundation Models). يهدف هذا النموذج إلى إحداث تحول في طريقة تدريب الروبوتات الجراحية من خلال تقديم محاكاة توليدية تفاعلية تعكس التعقيد البصري والإجرائي للجراحة السريرية. على عكس الإصدارات السابقة التي ركزت على مهام بسيطة على سطح الطاولة، يقدّم هذا الإصدار صوراً داخلية للجسم هي الأكثر إقناعاً حتى الآن، مما يتيح للروبوتات التفاعل مع بيئة تشريحية معقدة.

يأتي هذا التطور بعد إطلاق أول إصدار من Cosmos-H-Dreams، الذي اعتمد على نموذج Cosmos-Predict2.5 لتدريب الروبوتات على خياطة سطح الطاولة. في ذلك الوقت، أثبت النموذج جدوى استخدام الديناميكيات البصرية المتعلمة من الفيديو كبديل للمحاكاة العددية التقليدية التي تتطلب نمذجة هندسية دقيقة. اليوم، يتجاوز النموذج الجديد هذه الحدود ليتعامل مع تحديات البيئة الداخلية للجسم، حيث تؤثر حركات الأدوات الصغيرة على المشهد بأكمله من خلال تمدد الأنسجة وتغير الانعكاسات.

التدريب على بيانات سريرية حقيقية

تعتمد تقنية Cosmos3-H-Dreams على التعلم من تسجيلات فيديو وحركة روبوتية (Kinematics) مأخوذة من عمليات استئصال المرارة (Cholecystectomy) السريرية التي أُجريت باستخدام منصة CMR Surgical Versius. وتُعد هذه الخطوة الأولى من نوعها في تطوير محاكي جراحي توليدي يعمل في الوقت الفعلي ومدرب على بيانات سريرية حقيقية تدعم التحكم الحركي المباشر. يعتمد النظام على بنية Cosmos 3 ويتسارع عبر مكتبة FlashDreams، مما يسمح بتشغيله التفاعلي على بطاقة رسومية واحدة من نوع NVIDIA RTX PRO 6000.

تتضمن عملية التدريب استخدام نموذج معلم (Teacher) ثنائي الاتجاه مبني على نموذج Cosmos3-H-Embodied-Nano الذي يحتوي على 16 مليار معامل. تم تخصيص هذا النموذج على فيديوهات محسنة لحالات جراحية محددة، مع التركيز على أدوات مرئية ومشاركة نشطة، مثل ماسك Cadiere الأيسر وخطاف أحادي القطب الأيمن. كما تم تقييد أوامر الكاميرا لتعزيز التفاعل القوي بدفع الأدوات، مع استخدام 28 بُعداً للأفعال تشمل وضعيات الذراعين ومعلومات الماسكات وأزرار التحكم.

تحدي الاتساق الزمني والواقعية

تواجه المحاكاة التوليدية تحدياً كبيراً في الحفاظ على الاتساق الزمني، خاصة داخل الجسم البشري حيث يمكن أن تتراكم الأخطاء الصغيرة مع مرور الوقت، مما يؤدي إلى تغيرات تدريجية في هندسة الأدوات أو البنية التشريحية. لذلك، لا تكفي الواقعية البصرية وحدها للتحقق من دقة النموذج؛ بل يجب أن يستجيب المشهد للأوامر المقدمة (مثل الدوران والترجمة) بنتائج تشريحية مترابطة. أي مشهد يبدو معقولاً بصرياً لكنه يتجاهل أوامر التحكم لا يمكن اعتباره بيئة تفاعلية صالحة للتدريب.

للتغلب على هذه المشكلة، صمم فريق NVIDIA خط أنابيب تدريب يجمع بين التلميع (Distillation) والاستدلال المتسارع. يبدأ الأمر بتكييف النموذج المعلم على إطارات مستقبلية، ثم يتم تحويله إلى نموذج طالب (Student) سببي يمكنه توليد الفيديو في كتل قصيرة مع وصول الأفعال الجديدة. تستخدم تقنية Self-Forcing لتدريب النموذج على سياقه المولّد الخاص به، مما يساعد في معالجة تراكم الأخطاء أثناء التكرارات التفاعلية الطويلة.

التسريع عبر FlashDreams

يلعب التسريع دوراً محورياً في جعل المحاكاة قابلة للتطبيق في حلقة تحكم حية ذات زمن استجابة منخفض. يوفر FlashDreams، وهو مكتبة استدلالية متسارعة من NVIDIA، بيئة التشغيل اللازمة لهذا الغرض. بالإضافة إلى ذلك، تتطلب التكرارات الطويلة إدارة دقيقة لتاريخ الانتباه (Attention History) داخل النموذج. يستخدم تكامل Cosmos3-H-Dreams وحدة FadeMem المعدلة لتجميع ذاكرة المفتاح/القيمة المتنامية أثناء التكرارات الطويلة، مما يكمل عملية التلميع من خلال معالجة كيفية تخزين التاريخ أثناء التوليد المتدفق.

يوفر النظام نقطتي تحقق (Checkpoints) مختلفتين: واحدة تستخدم أربع خطوات إزالة ضجيج (Denoising) والأخرى خطوتين. النموذج ذو الخطوتين ليس مجرد نسخة معدلة من النموذج الرباعي الخطوات، بل تم تدريبه بشكل منفصل باستخدام جدول خطوتين. يؤدي تقليل خطوات إزالة الضجيج إلى تقليل زمن الاستدلال على حساب انخفاض طفيف في الجودة البصرية، مما يتيح للمطورين استكشاف التوازن الأمثل بين الكفاءة البصرية والتكلفة الحسابية.

تعميم الأداء على حركات غير مألوفة

من المتوقّع أن تواجه العمليات الجراحية مضاعفات أو تتطلب من الجراح تنفيذ حركات غير اعتيادية. لذلك، يجب أن يكون المحاكى قادراً على التعميم خارج نطاق بيانات التدريب وتوليد إطارات متماسكة لحركات غير مرنة. تظهر العروض التوضيحية للنموذج قدرته على توليد مشاهد مختلفة لاستئصال المرارة بناءً على أفعال الأدوات المسجلة عبر خوذة واقع افتراضي. تبدأ الفيديوهات من الإطار الأولي نفسه لكن تتبع تسلسلات أفعال مختلفة، مما يوضح كيف تؤدي السيطرة على الأدوات إلى استمراريات مميزة للمشهد مع تشوهات نسيجية فيزيائية دقيقة.

تسمح هذه التكرارات التوليدية بفحص ما إذا كانت الأدوات تتبع الأوامر، وكيف تستجيب الأنسجة بشكل متماسك للتفاعل، وهل تبقى مظهر الأدوات والبنية التشريحية متسقة عبر الزمن. هذا المستوى من الدقة ضروري لضمان أن تكون البيئة التفاعلية موثوقة لتدريب أنظمة الروبوتات الجراحية المستقبلية، حيث أن أي انحراف في الاستجابة قد يؤدي إلى نتائج خاطئة في التطبيقات السريرية الحقيقية.

آفاق البحث والتطوير المستقبلي

تفتح التحسينات في الواقعية البصرية عدة مسارات بحثية جديدة. أولاً، هناك سعي لنمذجة الإجراء الكامل من خلال توسيع التغطية والاتساق الزمني لاستكشاف جميع مراحل استئصال المرارة بشكل منهجي، مع تحديد واضح للحدود المهمة ومعايير النجاح. ثانياً، يهدف الباحثون إلى ربط المحاكاة التوليدية بالمحاكاة العددية، حيث يمكن دمج الواقعية البصرية المتعلمة مع الهندسة الصريحة وميكانيكا الأنسجة والاتصال.

توفر NVIDIA أيضاً وصفة كاملة لتدريب نموذج طالب فوري على مجموعات بيانات خاصة، تشمل إعداد البيانات وأدوات تدريب المعلم العامة ومراحل التلميع. يجب أن تستخدم تكاملات المتحكمات نفس اتفاقيات الأفعال والتطبيع المستخدمة في التدريب لضمان التوافق. يمثل هذا النظام خطوة هامة نحو دمج الذكاء الاصطناعي التوليدي في التعليم الجراحي وتطوير الروبوتات، مع الحفاظ على المعايير السريرية الصارمة.

المصادر

  • Hugging Face BlogNVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation

تابع التسلسل الزمني

تغطية الكيانات المرتبطة