Stanford تطلق Memorilla، نظام ذاكرة مفتوح المصدر لنماذج LLMs

كشف باحثون في Stanford عن Memorilla، وهو نظام ذاكرة مفتوح المصدر مصمم لنماذج LLMs. يعالج هذا النظام مجموعة مستندات كاملة ويزوّد نموذج لغة كبير مجمّد بـ16 رمز ذاكرة فقط. في اختبارات على FactKG، حقق Qwen3-8B المجمّد دقة 84.33% باستخدام Memorilla، مقابل 80.43% عند استخدام السياق الكامل للمستندات. واللافت أن ذلك تحقق باستخدام رموز مستندات أقل بمقدار 108 مرات. والشفرة ووصفات التدريب ونقاط التحقق متاحة بموجب ترخيص Apache 2.0.

باختصار

• الحجم: وحدة ذاكرة قابلة للتدريب بـ194 مليون معامل، تُخرج باستمرار 16 رمز ذاكرة بغض النظر عن حجم المجموعة. ويبقى المشفّر (Qwen3-Embedding-4B) وفك التشفير (Qwen3-8B) مجمّدين.
• يعمل على: Linux مع وحدات معالجة رسومات CUDA وPython 3.11. يتطلب البدء السريع وحدة معالجة رسومات واحدة بسعة 80 غيغابايت (اختُبرت الوصفات على H100 80GB). لم يُكشف عن نسخ مُكمَّمة.
• الأداء: أعلى متوسط مُبلَّغ عنه عبر 8 معايير تقييم (49.68)، مع أفضل الدرجات في 5 من المعايير الثمانية.
• الأفضل: دقة PersonaMem-v2 بنسبة 44.60%، مقابل 27.92% للسياق الكامل.
• الأسوأ: دقة PubMedQA بنسبة 59.00%، مقابل 69.00% لـLLMLingua-2.

ما هو Memorilla؟

Memorilla وحدة ذاكرة تحوّل مجموعة مستندات إلى 16 متجهًا لنموذج لغة كبير مجمّد. ويأتي هذا المشروع من مجموعة SNAP التابعة لـJure Leskovec، بمشاركة باحثين من جامعة تورونتو وجامعة بنسلفانيا ومعهد MIT.

لا يستطيع نموذج اللغة الكبير المجمّد استخدام سوى المعلومات الموجودة ضمن نافذة سياقه. ومع نمو السجل، يصبح التوجيه بالسياق الكامل أبطأ. وغالبًا ما تختار طرق الاسترجاع التقليدية المقاطع الأكثر تشابهًا مع السؤال، وقد تغفل أدلة أضعف. ويقدم Memorilla نهجًا بديلًا عبر تعلّم الاحتياجات المحددة لكل سؤال من مخزن المستندات بأكمله.

كيف يعمل Memorilla؟

تتكون خط المعالجة من ثلاث خطوات:

1. التشفير مرة واحدة: يشفّر Qwen3-Embedding-4B المجمّد كل مستند مرة واحدة فقط، ما يعني أن المستندات الجديدة لا تتطلب إعادة تشفير المستندات الموجودة.
2. القراءة لكل سؤال: تركز 16 خانة مُتعلَّمة على السؤال ومخزن المستندات بأكمله، باستخدام طبقتين من الانتباه المتقاطع (cross-attention) بثمانية رؤوس.
3. الحقن: تُسقط الخانات في فضاء التضمين المدخلات لنموذج Qwen3-8B وتُضاف قبل السؤال.

لا يُدرَّب سوى وحدة الذاكرة، التي تضم 194,123,776 معاملًا لفك التشفير 8B. ويجري التدريب على ثلاث مراحل: تستخدم المرحلة الأولى نحو 1.98 مليون مثال إعادة صياغة وإعادة بناء من Wikipedia، وتضيف الثانية نحو 1.34 مليون مثال من 10 مجموعات بيانات للأسئلة والأجوبة والتلخيص، وتُجري الثالثة ضبطًا دقيقًا على المعايير الثمانية كافة. وتستغرق عملية التدريب الكاملة نحو 19 ساعة على 4 وحدات معالجة رسومات H100.

كيف يؤدي Memorilla في معايير التقييم؟

تستخدم جميع اختبارات خط الأساس نموذج Qwen3-8B المجمّد نفسه، كما هو مفصل في الجدول الرئيسي للورقة البحثية. والدرجات مُبلَّغ عنها ذاتيًا من فريق البحث.

• FactKG: دقة 84.33%، مقابل 80.43% للسياق الكامل و80.38% لـMemoRAG.
• PersonaMem-v2: 44.60%، متجاوزًا 30.90% لـxRAG، أفضل طريقة تالية.
• TriviaQA: 57.00% مطابقة تامة، متقدمًا قليلًا على MemoRAG عند 56.60.
• LaMP-4 / LaMP-7: 18.15 و48.37 في ROUGE-L، وكلاهما يحقق أفضل الدرجات.
• المتوسط: 49.68، مقابل 41.92 لـxRAG و40.75 لـLLMLingua-2 و38.02 لـMem0.

تراجع أداء Memorilla في ثلاثة معايير. فقد سجل 59.00% على PubMedQA، بينما حقق LLMLingua-2 نسبة 69.00%. وبما أن تلك الملخصات لا تتجاوز 324 رمزًا، فإن فوائد الضغط تكون ضئيلة. وتفوق MemoRAG على PersonalizationV4 (67.88% مقابل 66.65%) وعلى NarrativeQA ROUGE-L (20.51 مقابل 19.31)، مستخدمًا رموز مستندات أكثر بنحو 690 مرة و50 مرة على التوالي.

يكون الضغط أكثر فعالية على NarrativeQA، حيث تحل 16 رمزًا محل 67,385 رمز مستند، ما ينتج عنه تقليص بمقدار 4,212 مرة. وكذاكرة للوكيل، حسّنت 8 رموز ذاكرة متوسط نجاح وكيل Qwen3-4B في TextWorld من 18.6% إلى 24.2%.

رابط ذو صلة: github.com

المصدر: MarkTechPost