Microsoft وجامعة UC Berkeley تطلقان TokenEconomizer لخفض تكاليف وكلاء البرمجة

أسفر تعاون بين Microsoft Research وجامعة UC Berkeley عن إطلاق TokenEconomizer، وهي إضافة مفتوحة المصدر تهدف إلى التحكم في تكاليف وكلاء البرمجة. تتعلم هذه الإضافة من الجلسات السابقة داخل المستودع لتقليل الهدر في المهام اللاحقة. وهي متوافقة مع Claude Code وCodex وGitHub Copilot CLI وPi، ولا تعدّل أوزان النموذج أو كود الوكيل. وفي اختبارات شملت 277 مهمة من SWE-Bench، حققت TokenEconomizer خفضاً في متوسط التكاليف تراوح بين 18.4% و30.9% عبر خمسة إعدادات مختلفة من الوكيل والنموذج.

أبرز الميزات

• الحزمة: حزمة Python قياسية إلى جانب إضافات للوكيل، وتضم ثلاث آليات قابلة للتبديل.
• التوافق: تعمل على أي جهاز يشغّل Claude Code أو Codex أو Copilot CLI أو Pi مع Python 3.10 أو أحدث، دون الحاجة إلى GPU أو مفتاح API خاص بها.
• الأداء: تحقق انخفاضاً بنسبة تتراوح بين 18.4% و30.9% في متوسط تكاليف SWE-Bench، مع تسجيل وفورات في جميع الخلايا الثلاثين الخاصة بإعدادات المستودعات.
• أفضل أداء: سُجلت أعلى وفورات بنسبة 30.9% على Claude Code مع Opus 4.8، وترتفع إلى 33.2% عند دمجها مع RTK.
• الأقل فعالية: بلغت الوفورات في عمليات تدقيق ReposVul ما بين 6.4% و9.3% فقط، مع انخفاض بمقدار 1.0 نقطة في أداء Pass@1 على Opus 4.8.

مصادر هدر الـ token

حدد فريق البحث ثلاثة مصادر رئيسية لهدر الـ token أثناء تحليل 60 مهمة من SWE-Bench عبر ستة مستودعات باستخدام Claude Code مع Opus 4.8:

• الاستكشاف المتكرر: بعد خمس مهام سابقة، كررت 30% من استدعاءات الأدوات إجراءات من مهام سابقة.
• أدوات غير مستخدمة: من أصل 23 مخطط أداة تُحمَّل في كل دور، لم تُستخدم 16 أداة إطلاقاً، بينما استحوذت ثلاث أدوات على 98% من الاستدعاءات.
• حلقات الفشل: مثّلت 10 عمليات تشغيل فاشلة 17% من المهام لكنها استهلكت 32% من إجمالي الإنفاق.

إضافة إلى ذلك، قيّم الفريق ثلاث استراتيجيات مفتوحة المصدر موجودة: RTK وSerena وAider’s RepoMap. ولم تتفوق أي من هذه الاستراتيجيات باستمرار على TokenEconomizer، إذ خفضت التكاليف على Django بينما زادتها على SymPy.

آلية عمل TokenEconomizer

تعمل TokenEconomizer كوحدة تحكم خارجية تتعامل مع الوكيل كصندوق أسود. وتحتفظ بحالة لكل مستودع بناءً على الآثار المكتملة. وقبل تنفيذ كل مهمة، تحدد ثلاث سياسات عبر الـ prompt وإعدادات الأدوات وتدفق الأحداث.

1. المهارات الدقيقة

يحوّل مُقترِح نموذج لغوي كبير (LLM) ملخصات الآثار إلى حقائق موجزة، مثل أمر الاختبار الصحيح. وتتضمن كل حقيقة كواشف regex للتحقق من الآثار اللاحقة دون الحاجة إلى استدعاء نموذج. وتُدمج الحقيقة في الـ prompt بعد ثلاث تأكيدات على مهام بملفات معدلة غير متداخلة، مع الحفاظ على معدل حاجة لا يقل عن 0.4. ويُحتسب التناقض الواحد بخمس تأكيدات، ما يؤدي إلى الإيقاف السريع للحقائق الخاطئة.

2. تقليم الأدوات

تُحتفظ دائماً بالأدوات الأساسية لعمليات shell والقراءة والكتابة والتحرير. وتُقنَّع الأدوات الأخرى بعد ثلاث مهام متتالية دون استخدام أو عندما يرى قاضٍ يعتمد على LLM أنها غير ذات صلة. ويُعاد تقييم الكتالوج الكامل كل خمس مهام.

3. التدخل في حلقات الفشل

تتعلم وحدة التحكم ميزانية الدور، وتُضبط عند 1.25 ضعف المئين 90 لأطوال عمليات التشغيل الناجحة. وتشير فحوص القواعد منخفضة التكلفة إلى حالات الفشل المتكرر أو الأخطاء الكثيفة. ويقيّم قاضٍ يعتمد على LLM ما إذا كان الوكيل عالقاً بدرجة ثقة 0.7 أو أعلى. وإذا تأكد ذلك، يتلقى الوكيل إعادة توجيه واحدة، يتبعها إيقاف إذا استمرت الحلقة.

تمثل TokenEconomizer تقدماً كبيراً في تحسين أداء وكلاء البرمجة مع إدارة التكاليف بفعالية، كما يتضح من مقاييس أدائها عبر مهام متنوعة.

رابط ذو صلة: github.com

المصدر: MarkTechPost