Baseten تطلق joey-1، نموذج قرارات بـ 2 مليار معامل بسعر 0.01 دولار لكل مليون token

كشفت Baseten عن joey-1، وهو نموذج قرارات بـ 2 مليار معامل طوّره مختبرها البحثي Base Labs. وعلى خلاف النماذج التقليدية، يُرجع joey-1 تصنيفاً مع احتمال معاير، ويستهدف تطبيقات التوجيه عالية الحجم والتصنيف وفحوصات الحواجز الأمنية. ويُسعّر النموذج بـ 0.01 دولار لكل مليون token إدخال، وهو متاح بأوزان مفتوحة على Hugging Face بموجب رخصة MIT.

أبرز الميزات

• الحجم: 2 مليار معامل، جرى تدريبه لاحقاً من Qwen3.5-2B، بحد أقصى لطول التسلسل يبلغ 16,384 token (وحتى 262 ألف token في عمليات النشر المخصصة، وفقاً لـ Baseten).
• النشر: يمكن تشغيله على Baseten Model APIs أو استضافته ذاتياً على وحدة معالجة رسومات CUDA واحدة (لم تُفصح الشركة عن متطلبات VRAM الدقيقة). ولا تتوفر إصدارات كمية رسمية.
• الأداء: صُنّف أفضل نموذج دون 4 مليارات معامل في التقسيم العام Jev Decision Index 0.4، وفقاً لما أوردته Baseten.
• أفضل نتيجة: حقق نتيجة 63.30 في Jev Decision Index 0.4، ليحل في المرتبة 37 من بين 230 نموذجاً.
• المقارنة: يتخلف عن نظيره elephant-1 البالغ 9 مليارات معامل بـ 8.94 نقطة في التقسيم نفسه (63.30 مقابل 72.24).
• الخلاصة: يوفر اتخاذ قرارات بزمن استجابة 20 مللي ثانية P50 مقابل 0.01 دولار لكل مليون token، لكن معرفته العامة أقل مقارنة بالنماذج الأكبر.

فهم joey-1

صُمم joey-1 للإجابة عن أسئلة مكتوبة في تمريرة أمامية واحدة. يقدم المستخدمون حالة (نصاً أو صوراً) مع سؤال واحد أو أكثر، ويعيد النموذج احتمالات لكل خيار من كل سؤال. ولا يولّد نصاً حراً يحتاج إلى تحليل من التطبيق.

أنواع الأسئلة المدعومة:

• الاختيار: اختيار خيار مسمى واحد، مثل تحديد الفريق المسؤول عن تذكرة.
• نعم/لا (noul في API): يعيد احتمال الإجابة بـ «نعم».
• التقييم: يوفر مستويات مرتبة، مثل درجة الإلحاح، من الأدنى إلى الأعلى.

joey-1 هو النموذج الثالث في سلسلة، بعد الإصدارين الأخيرين mammoth-1 (27B) وelephant-1 (9B). تشترك النماذج الثلاثة في بيانات التدريب وواجهة /v1/systemone API، ما يتيح التبديل بسهولة بسطر واحد من التعليمات البرمجية.

آلية عمل joey-1

درّبت Base Labs نموذج Qwen3.5-2B تدريباً لاحقاً بضبط دقيق كامل للنموذج اللغوي، مع إبقاء مشفر الرؤية مجمداً. ويستخدم النموذج طبقات انتباه كاملة مع قناع ثنائي الاتجاه على مستوى الكتل، ما يتيح الإجابة عن جميع الأسئلة من تعبئة أولية مشتركة واحدة (shared-prefix prefill)، ويقلل تكلفة الأسئلة الإضافية.

تفاصيل التدريب من بطاقة النموذج:

• البيانات: 6.21 مليون مثال قرار، تشمل 58.3% مهارات قرار أساسية، و16.1% سلامة، و16.1% مجالات تخصصية، و9.5% بيانات عامة.
• الهدف: يستخدم خسارة الإنتروبيا المتقاطعة مع حد معايرة Brier، بما في ذلك خيار «لا أعرف» مدرّب.
• وصفة التدريب: نُفذت على حقبة واحدة بـ 43,390 خطوة، وبلغت ذروة معدل التعلم 1e-5 بدقة bf16.
• العتاد: دُرّب على عقدتين تضم كل منهما 8 وحدات معالجة رسومات H100.

تتيح ميزة المعايرة للمستخدمين ضبط حد ثقة، ما يمكّن من تصعيد الإجابات غير المؤكدة إلى نماذج أكبر مثل elephant-1 أو mammoth-1 أو حتى التدخل البشري.

رابط ذو صلة: baseten.co

المصدر: MarkTechPost