ALTK-Evolve يحقق أعلى نتيجة في τ²-bench لمهام خدمة العملاء
أظهر ALTK-Evolve تقدمًا كبيرًا في مهام خدمة العملاء باستخدامه نموذج GPT-4.1، محققًا نتيجة 67.5% في مقياس Pass^4 على اختبار τ²-bench. وتعني هذه النتيجة أن الوكيل يحل المهام بنجاح في المحاولات الأربع المستقلة لنسبة 67.5% من المهام، متجاوزًا جميع المشاركات في قطاع التجزئة في أحدث لقطة من لوحة الصدارة بتاريخ 12 أكتوبر 2026.
يعمل النظام على إطار ReAct القياسي الخاص بالاختبار، معززًا بإرشادات مُتعلمة مدمجة في موجه النظام (system prompt). يبني ALTK-Evolve هذه الإرشادات عبر تحليل محاولات تدريب الوكيل، واستخلاص الاستراتيجيات الناجحة وغير الناجحة في قواعد سلوكية موجزة. وتوجه هذه القواعد الوكيل في كيفية مصادقة العملاء وتأكيد المعاملات وإدارة المرتجعات، دون الحاجة إلى تحديث الأوزان أو التعليق البشري.
يقيس اختبار τ²-bench، الذي طورته Sierra، مدى فعالية إدارة الوكيل لتفاعلات خدمة العملاء في ظل قيود واقعية. تتضمن كل مهمة تفاعل الوكيل مع عميل محاكى لديه أهداف محددة ويلتزم بوثيقة سياسات معينة. ويُقاس أداء الوكيل بناءً على قدرته على استخراج التفاصيل بدقة والامتثال للسياسات وتنفيذ الإجراءات المناسبة، ولا تُحتسب المهمة محلولة إلا عندما تتوافق الحالة النهائية لقاعدة البيانات مع النتيجة المتوقعة.
في عملية الاختبار، شُغّل وكيل ReAct أساسي باستخدام GPT-4.1 كنموذج وGPT-5.5 كمحاكي للعميل، مع إجراء أربع محاولات لكل مهمة. وكان التعديل الوحيد هو إضافة الإرشادات المُتعلمة إلى موجه النظام، بينما بقيت جميع المكونات الأخرى دون تغيير.
تعزز إرشادات ALTK-Evolve بشكل كبير قدرة الوكيل وموثوقيته. وقارن التقييم ثلاثة إعدادات: خط أساس بلا إرشادات، وإعداد sup3 يحتفظ فقط بالإرشادات عالية الدعم، وإعداد lossless يشمل جميع الإرشادات. وأظهرت النتائج أن إعداد lossless أدى إلى زيادة ملحوظة في متوسط الدقة ونتائج Pass^4 في مجالي التجزئة والطيران.
في التجزئة، حقق إعداد lossless متوسط دقة 82.5% ونتيجة Pass^4 بلغت 67.5%، ما يعكس تحسنًا كبيرًا مقارنة بخط الأساس. وفي مجال الطيران، تفوق إعداد lossless أيضًا على خط الأساس، وإن كان إعداد sup3 أكثر موثوقية من حيث Pass^4.
ورغم أن الإرشادات تزيد تكاليف الإدخال بسبب موجه النظام الأكبر، فإنها لا تطيل المحادثات. بل أصبحت تفاعلات الوكيل أقصر قليلًا، ما أدى إلى خفض زمن الاستجابة وتسريع أوقات الإنجاز للعملاء. وتؤدي هذه المقايضة إلى دقة وموثوقية أعلى دون التضحية بالكفاءة.
علاوة على ذلك، أثبتت الإرشادات المُتعلمة فائدتها عند اختبارها مع نموذج متقدم هو GPT-5.5. وفي هذا السيناريو، أدت إضافة الإرشادات إلى تحسين دقة الوكيل وموثوقيته، ما يدل على أن النهج فعال عبر معماريات نماذج مختلفة.
يبرز أداء ALTK-Evolve على لوحة صدارة τ²-bench فعالية الإرشادات المُتعلمة في تعزيز وكلاء خدمة العملاء. فقد حقق الوكيل نتيجة Pass^4 بلغت 67.5% في التجزئة، متجاوزًا النماذج المتقدمة، ووصل إلى 82.0% في مجال الطيران، ما يعزز موقعه في صدارة اللوحة.
المصدر: Hugging Face Blog