LEANN: فهرس متجهات مفتوح المصدر جديد من UC Berkeley يقلص حجم فهرس RAG بشكل كبير

طوّر مختبر Sky Computing Lab في UC Berkeley فهرس المتجهات مفتوح المصدر LEANN، الذي يقلل متطلبات التخزين بشكل كبير عبر عدم تخزين التضمينات. بدلًا من ذلك، يعيد LEANN حساب التضمينات وقت الاستعلام، ما يؤدي إلى انخفاض هائل في الحجم من 201 غيغابايت إلى 6 غيغابايت فقط لفهرس Wikipedia المكوّن من 60 مليون مقطع. وقد نال هذا الابتكار جائزة أفضل ورقة بحثية في MLSys 2026، ما يتيح البحث الدلالي والتوليد المعزز بالاسترجاع (RAG) على البيانات الشخصية باستخدام حواسيب محمولة عادية.

باختصار

• الحجم: 6 غيغابايت لـ 60 مليون مقطع (المستودع)؛ و4 غيغابايت في إعداد Wikipedia بحجم 76 غيغابايت في الورقة البحثية. أداة التضمين الافتراضية: Contriever (110 مليون معامل). إنه فهرس وليس نموذجًا لغويًا كبيرًا، لذا لا ينطبق عليه طول السياق.
• يعمل على: الحواسيب المحمولة ومحطات العمل. اختبرت الورقة جهازًا مزودًا بـ RTX 4090 و32 غيغابايت من الذاكرة العشوائية وجهاز Mac M1 Ultra. تتوفر نسخة Linux تعمل على المعالج فقط، دون نشر زمن استجابة على المعالج.
• الأداء: يضاهي دقة HNSW في المهام النهائية عند استدعاء 90%، باستخدام أقل من 5% من تخزين البيانات الخام.
• الأفضل: دقة 25.5% في NQ، مطابقة لـ HNSW، باستخدام 4 غيغابايت بدلًا من 188 غيغابايت.
• الأسوأ: يستغرق استرجاع HotpotQA 44.80 ثانية على جهاز Mac، أي 50.1% من إجمالي وقت خط المعالجة.

ما هو LEANN؟

LEANN هو فهرس تقريبي لأقرب الجيران (ANN) منخفض التخزين مبني على FAISS. يعالج مشكلة كون فهارس المتجهات غالبًا أكبر من البيانات التي تفهرسها. تشير الورقة البحثية إلى أن مجموعة نصوص بحجم 76 غيغابايت تتطلب 173 غيغابايت من التضمينات بالإضافة إلى رسم بياني HNSW بحجم 15 غيغابايت، ما يضاعف حجم البيانات الخام فعليًا.

يحتفظ LEANN برسم بياني مُقلَّم، ويتخلص من المتجهات الكاملة ويعيد بناءها عند الطلب. الكود متاح بموجب رخصة MIT ويمكن تثبيته عبر uv pip install leann.

كيف يعيد LEANN حساب التضمينات دون تعطيل البحث؟

عادةً ما تزور فهارس الرسوم البيانية مثل HNSW مجموعة صغيرة فقط من العقد لكل استعلام، ويستفيد LEANN من ذلك عبر تخزين الرسم البياني مع جدول تكميم ضربي (PQ) مدمج. أثناء الاستعلام، يعيد تضمين العقد الواقعة على مسار البحث فقط.

ثلاث تقنيات تعزز هذه العملية:

• بحث ثنائي المستوى: ترتب مسافات PQ غير المكلفة الجيران في البداية، ولا تخضع سوى أفضل المرشحين لإعادة حساب دقيقة.
• التجميع الديناميكي: تُجمع المرشحات من قفزات متعددة، مثل معالجة 64 في وقت واحد لتحسين كفاءة GPU.
• تقليم يحافظ على الدرجات العالية: تحتفظ معظم العقد بحواف قليلة، بينما تحافظ أفضل 2% من العقد “المحورية” على اتصالات أكثر.

في دراسات الاستئصال، حققت طريقة البحث ثنائي المستوى تسريعًا متوسطًا قدره 1.4 مرة، بينما رفعه إضافة التجميع إلى 1.8 مرة. ومع ذلك، لا يزال إعادة حساب التضمينات يمثل نحو 76% من زمن استجابة الاستعلام.

رابط ذو صلة: sky.cs.berkeley.edu

المصدر: MarkTechPost