Kyutai CADRE: مرمّزات الفيديو التلقائية التي تقلل زمن استجابة نماذج العالم إلى أقل من 230 مللي ثانية

كشفت Kyutai عن CADRE، وهي مجموعة من مرمّزات الفيديو التلقائية السببية الانتشارية المفتوحة التي تهدف إلى تحسين نماذج العالم التفاعلية. يتمثل التركيز الأساسي لمرمّز الفيديو التلقائي CADRE في تقليل تأخر الاستجابة للإجراءات. غالباً ما تستخدم نماذج العالم التقليدية مرمّزات تلقائية من مولّدات النصوص إلى الفيديو، والتي تضغط إطارات متعددة في تمثيل كامن واحد، مما يسبب تأخيرات في استجابة الإجراءات. وفقاً لـالورقة البحثية، يمكن لنماذج العالم CADRE أن تعمل بمعدل 20 إطاراً في الثانية على وحدة معالجة رسومات H100 واحدة وتستجيب خلال 230 مللي ثانية.

باختصار

• الحجم: 7 مرمّزات تلقائية، كل منها بنحو 476 مليون معامل مدرّب، إلى جانب نموذج DINOv3 ViT-B/16 المجمّد بحجم 86 مليون معامل. يتكون نموذج العالم الكلي من 1.2 مليار معامل. دقة الفيديو 288×512 عند 20 إطاراً في الثانية.
• يعمل على: وحدة H100 واحدة (bf16، حجم دفعة 1). لم يتم الكشف عن نسخ مُكمَّمة.
• الأداء: يقع CADRE في طليعة الحدود بين زمن الاستجابة والجودة، متفوقاً على المنافسين في 42 من أصل 48 مقارنة مع MIRA وWan 2.2 وCosmos وLTX-2.
• الأفضل: تحقيق FVD للقيادة يبلغ 162.6 (CADRE-2×16×16، خطوة واحدة) مقابل 599.7 لـ Wan 2.2.
• الأسوأ: متابعة إجراءات التلاعب الروبوتي (ARR) بقيمة 0.45 لـ CADRE-2×32×32، مقابل 0.85 لـ Wan 2.2.

ما هو CADRE؟

يتكون CADRE من سلسلة مرمّزات فيديو تلقائية طورتها Kyutai خصيصاً لنماذج العالم المكيّفة حسب الإجراءات. تولّد هذه النماذج مخرجات في الفضاء الكامن للمرمّز التلقائي، مما يعني أن طريقة الضغط تؤثر مباشرة على تكلفة كل إطار وعلى التأخير في الاستجابة للإجراءات.

تُعبَّر صيغة الضغط بـ τ×s×s، حيث تشير τ إلى عدد الإطارات لكل تمثيل كامن وs إلى العامل المكاني. تشير البحث إلى أن زمن الاستجابة يمكن حسابه على أنه τ/f بالإضافة إلى الوقت المستغرق في التوليد وفك التشفير. مع تعيين τ على 8 والعمل بمعدل 20 إطاراً في الثانية، فإن الكتلة وحدها تقدم تأخيراً قدره 400 مللي ثانية. عادةً ما يكتشف الإدراك البشري تأخر الحركة بعد حوالي 230 مللي ثانية.

كيف يعمل CADRE؟

يستخدم المرمّز إطار عمل MIRA، حيث يستخرج نموذج DINOv3 المجمّد الميزات من كل إطار على أساس كل رقعة. ثم يضغط التفاف ثلاثي الأبعاد مدرّب هذه الميزات في تمثيل كامن بـ 64 قناة. الاختلاف الوحيد بين النماذج السبعة هو عنق الزجاجة هذا.

يستخدم فاكّ التشفير محوّل انتشار سببي يتكون من 24 كتلة، ويعالج الفيديو على شكل كتل. من خلال التقطير الذاتي التدريجي، يتعلم فك التشفير في خطوة أو خطوتين خلال مرحلة تدريب واحدة، دون الحاجة إلى خسارة خصومية.

تم تدريب المرمّزات التلقائية على 23 مجموعة بيانات فيديو عامة، بإجمالي حوالي 76,000 ساعة، تشمل مزيجاً متنوعاً من فيديوهات الويب والروبوتات والقيادة والألعاب.

كيف تم تقييم CADRE؟

درّبت Kyutai محوّل انتشار سببي موحّد بحجم 1.2 مليار معامل عبر جميع المرمّزات التلقائية، باستخدام أربع بيئات: التلاعب الروبوتي (ABC)، والتلاعب البشري (EgoDex)، والقيادة (PhysicalAI AV)، والملاحة الداخلية (RealEstate10K). يعالج كل نموذج ثانيتين من الفيديو الحقيقي قبل توليد 4.8 ثوانٍ من المخرجات.

تشمل مقاييس التقييم جودة الصورة (FID)، وجودة الحركة (FVD)، ومتابعة الإجراءات (ARR)، حيث يتم تقييم ARR باستخدام مسبار ديناميكي عكسي مجمّد. تشير درجة ARR البالغة 1 إلى تطابق تام مع الفيديو الحقيقي.

رابط ذو صلة: kyutai.org

المصدر: MarkTechPost