EliteTable: بحث برمجي ذاتي التحسين لسياسات التحكم القابلة للتنفيذ

EliteTable هي خوارزمية بحث برمجي ذاتي التحسين تستفيد من نماذج اللغة الكبيرة (LLMs) لتعزيز أدائها. تعمل باستخدام جدول ثابت السعة يحتوي على حلول عالية التقييم، والتي توجه توليد مقترحات جديدة، وتعديلات على الحلول الموجودة، ودمج حلول متعددة. تم اختبار فعالية الخوارزمية عبر ست مهام تحكم من Gymnasium، حيث خضعت كل مهمة لعشر أجيال مع استيعاب خمسين خانة مرشحة لكل جيل. تم تقييم كل مهمة من خلال عشر عمليات بحث مهيأة بشكل مستقل. أشارت النتائج إلى أن متوسطات درجات المرشحين تحسنت من الأجيال الأولى إلى الأجيال النهائية في جميع المهام الست، بينما زادت متوسطات درجات البحث للفائزين المختارين في خمس من المهام. ومن الجدير بالذكر أنه في مهمة CartPole-v1، حقق الفائز المختار أقصى درجة بحث خلال الجيل الأول في جميع عمليات البحث العشر. علاوة على ذلك، أظهرت جميع نقاط النهاية العشر المقترنة المحجوزة تحسنًا في أربع من المهام الست. على الرغم من أن BipedalWalker-v3 و CarRacing-v3 أظهرتا تحسنًا، إلا أنهما لم تحققا أهداف التقرير الخاصة بهما. في المقابل، شهدت ست من أصل عشر عمليات بحث لـ Acrobot-v1 انخفاضًا في الحلقات المحجوزة، مما أدى إلى تغيير متوسط مقترن سلبي. تسلط هذه النتائج الضوء على التقدم المحرز خلال البحث البرمجي والنقل الناجح لمكاسب الفائز المختار إلى حلقات جديدة في مهام معينة. هناك حاجة إلى مزيد من المقارنات ودراسات الاستئصال لتحديد الأداء النسبي لـ EliteTable والمساهمات المحددة لمكوناتها.

المصدر: arxiv.org