كوجا رفع أداء النموذج المفتوح نفسه من 30% إلى 81% في 90 مهمة

القاعدة المكتوبة في تعليمات الوكيل الذكي مجرد طلب. هذه حجة كوجا (CUGA)، الإطار المفتوح المصدر من آي بي إم، وقد دعمها فريقه باختبار. الإطار (harness) هو البرنامج المحيط بالنموذج. يحدد الأدوات التي يستخدمها النموذج، وكيف تُرتب الخطوات، وأي الأخطاء تُلتقط.

قواعد يفرضها الإطار

تكتب فرق كثيرة قواعد العمل، مثل الموافقة على الدفع، داخل تعليمات النموذج. يرى فريق كوجا أن هذا مجرد طلب. أما سياسات كوجا فتنقل القواعد إلى الإطار، فتبقى سارية مهما قرر النموذج.

في عرض تجريبي، طُلب من وكيل «ادفع كل ما عليّ». بلا سياسات دفع 90 دولارا، منها مطالبة مرفوضة عند التحصيل. ومع السياسات علّق الدفع للموافقة ثم دفع 10 دولارات فقط هي المستحقة.

كوجا مفتوح المصدر بترخيص Apache 2.0، ويعمل محليا أو على كوبرنيتس أو في عناقيد معزولة عن الإنترنت. فأيهما تثق به أكثر: قاعدة مكتوبة في التعليمات أم قاعدة يفرضها النظام؟

الفارق

ثبّت فريق كوجا النموذج وغيّر الإطار وحده. تراوح إنجاز المهام بين 30% و81% بحسب الإطار. وعدّ الفريق أيضا السيناريوهات، ولكل سيناريو ثلاثة متغيرات يجب أن تنجح كلها. بهذا العد نجح كوجا في 20 سيناريو، وهيرميس في 8، وديب إيجنتس في 2.

ويذكر المصدر أيضا تحليلا مجتمعيا قفز فيه نموذج GLM-5.2 من 23% إلى 52% على اختبار SWE-bench Pro مع تغيير الإطار وحده.

الاختبار

الأطر الثلاثة هي كوجا، وهيرميس (Hermes) من نوس ريسيرش (Nous Research)، وديب إيجنتس (Deep Agents) من لانغ تشين (LangChain). استخدمت كلها النموذج المفتوح GLM-5.3-flash في 90 مهمة من AppWorld. يضم هذا الاختبار تسعة تطبيقات و457 واجهة برمجية، مثل البريد والمدفوعات وتخزين الملفات. أُعطيت كل مهمة محاولة واحدة.

الحدود

العينة 90 مهمة في اختبار واحد، فقد لا تنطبق النتائج على غيره. لم تكن الإعدادات متطابقة، واستخدم كوجا إعدادا لـAppWorld لم تستخدمه الأطر الأخرى. وأجرى فريق كوجا الاختبار بنفسه. ولم تستخدم التجارب سياسات، فهي لا تقيس فرضها. كما أن هيرميس وديب إيجنتس لم يُبنيا لهذا النوع من العمل متعدد التطبيقات. ويدعو الفريق إلى إرسال إعدادات أفضل ويَعِد بإعادة التشغيل.