اختبار طبقات الموثوقية في نماذج اللغة: رؤى حول الدقة

أظهر اختبار حديث لست طبقات موثوقية في نماذج اللغة أن هذه الطبقات تصنّف المخرجات أساساً حسب الموثوقية بدلاً من تصحيح الأخطاء. ووجدت الدراسة أن أساليب مثل التصويت والتصحيح الذاتي فشلت في تعزيز الدقة، واكتفت بحجب السجلات غير المؤكدة. وبالنسبة لأنظمة الإنتاج، قد يتحقق تحسين الموثوقية عبر استبدال العمليات التوليدية بعمليات بحث حتمية، والتركيز على العائد بدلاً من الدقة الخام، ومعالجة اختناقات الاستخراج قبل تنفيذ فحوص إضافية.

أجرى البحث Pushpdeep Mishra وWejdan Bagais، ويبرز أن النظرية كانت تفترض أن إضافة طبقات ستزيد الدقة، لكن النتائج أشارت إلى خلاف ذلك. وشملت الطبقات التي جرى تقييمها فحوصاً تقارن مخرجات النموذج بمعايير حتمية، وتعيد الإخفاقات القابلة للإثبات إلى النموذج، وأخذ عينات من المخرجات عدة مرات للتصويت، واستعانة بنموذج ثانوي لتقييم المخرجات. وفي النهاية، صنّفت الطبقات الإجابات بناءً على الثقة لكنها لم تصحح الأخطاء بشكل ملحوظ.

استخدمت الدراسة مجموعة بيانات CADEC، التي تضم 1,250 منشوراً في منتدى مشروحاً بشأن التفاعلات الدوائية الضارة. وأتاحت هذه المجموعة المشروحة تسجيل أداء كل طبقة بدقة، وكشفت أن نظاماً خاضعاً للإشراف مثل CONORM، جرى ضبطه الدقيق على جزء من CADEC، تفوق بشكل ملحوظ على zero-shot extractor المستخدم في الدراسة.

تشمل النتائج الرئيسية للتقييم ما يلي:

• صنّفت طبقات الموثوقية الإجابات حسب الثقة لكنها لم تصحح الأخطاء؛ وكشف العائد، المعرّف بأنه نسبة الإجابات الصحيحة إلى إجمالي السجلات، عن قيود في الدقة.
• يمكن للشيفرة الحتمية تحديد الإجابات غير الصحيحة لكنها لا تستطيع تأكيد الصحة؛ إذ يمكنها التقاط الشيفرات غير الموجودة لكنها تظل تعتمد على النماذج أو المدخلات البشرية للإجابات المعقولة.
• كان التعرف على الشيفرات من الذاكرة أقل فعالية من الاختيار من قائمة، إذ ولّد النموذج عدداً كبيراً من الشيفرات غير الموجودة عند الاسترجاع من الذاكرة.
• أنتجت أربع من أصل خمس عائلات نماذج مخرجات متسقة عند درجة حرارة صفر، بينما أظهر نموذج واحد تبايناً عبر التشغيلات.
• لم تتمكن أي طبقة من استعادة الإشارات التي فاتت المستخرج، مما يشير إلى أن التحسينات جاءت أكثر من التوافق مع اصطلاحات الشرح منها من التكيفات الخاصة بالمجال.

تؤكد النتائج أنه رغم أن طبقات التحقق الإضافية يمكن أن تساعد في تصنيف المخرجات، فإنها لا تحسّن بطبيعتها دقة استجابات النموذج. وتشدد الدراسة على الحاجة إلى أساليب استخراج موثوقة ونُهج حتمية لتعزيز الأداء العام لنماذج اللغة.

المصدر: InfoQ