Claude Opus أنشأ مهاماً حلها نموذج 9B بنسبة 81%

فحص فريق بحثي سبب فشل تدريب وكلاء الذكاء الاصطناعي على استخدام الطرفية (Terminal). نُشرت النتائج على arXiv، حيث وصف الباحثون خط أنابيب محدداً لتوليد المهام.

يستخدم هذا العملية نموذجاً كبيراً، وتحديداً Claude Opus، لإنشاء مهام الطرفية والاختبارات. يعمل هذا النموذج كـ "وكيل فائق" يصمم الواجبات التي يحلها النماذج الأصغر.

وجد الباحثون أن وجود صورة Docker تعمل لا يكفي. حددوا ثلاثة مشكلات رئيسية: معايير غير صالحة، أدوات اختبار هشة، ومكافآت غير متسقة.

أعادوا تصميم الأوامر النصية (Prompts) وأضافوا سياقاً أكثر للنظام. زادت هذه التغييرات قابلية الحل الأساسية بمقدار 5.6 مرات.

اختُبر نموذج أصغر بحجم 9 مليارات معامل على هذه المهام الجديدة. وصل إلى معدل نجاح متوسط قدره 81.3% خلال 20 خطوة.

لكن النتائج تغيّرت عندما أضاف الفريق مهاماً أصعب. انخفض معدل النجاح إلى 20.6% دون تغيير إعدادات التدريب.

يُظهر هذا الانخفاض أن مستوى الصعوبة خاص بالنموذج المُدرَّب. ما هو سهل لنموذج قد يكون مستحيلاً لآخر.

تقترح الدراسة أن الموثوقية تتطلب معايرة دقيقة لصعوبة المهام. يجب أن تكون تدقيق أدوات التحقق ومحاسبة أخطاء البنية التحتية معايير تقييم أساسية.

تخيل معلماً يصنع اختباراً. إذا كان الاختبار سهلاً جداً، لا يتعلم الطالب شيئاً. وإذا كان صعباً جداً، يستسلم الطالب. يجب أن تتطابق الصعوبة مع قدرة الطالب الحالية.

لا تفصّل الورقة الأخطاء البنيوية المحددة التي واجهها الفريق. كما لا تقدم معادلة عالمية لمعايرة صعوبة المهام عبر جميع أحجام النماذج.