باحثون من Apple يطلقون إطار عمل لاختبار وكلاء الذكاء الاصطناعي

قدم باحثون من Apple منصة SCLATE، وهي إطار عمل جديد مصمم لمساعدة وكلاء الذكاء الاصطناعي على التعلم والأداء بشكل أفضل على المدى الطويل. حالياً، يواجه العديد من الوكلاء صعوبة في الحفاظ على قدراتهم عبر جلسات متعددة لأنهم يبدأون كل مهمة من نقطة الصفر.

تعمل SCLATE كجدولة مركزية لهذه الأنظمة. فبدلاً من إجبار المطورين على بناء حلقات مخصصة لكل مشروع، تتيح المنصة للمعايير المختلفة وإعدادات الوكلاء الاتصال بجدول زمني مشترك. وتقوم بتشغيل المهام في الوقت الفعلي مع تخطي فترات الخمول، مما يعني أن العملية التي قد تستغرق شهراً يمكن إنجازها في ساعات.

كما تعمل هذه المنصة كمحرك اختبار، حيث تسجل بدقة كيف يتخذ النموذج قراراته من خلال تتبع الرموز وسجلات التشغيل الداخلية. وباستخدام SCLATE، قارن فريق البحث عشر طرق مختلفة لإدارة الذاكرة وآليات تنفيذ المهام عبر نماذج متعددة.

أظهرت النتائج أن إضافة أنظمة ذاكرة إضافية لا تحسن الأداء دائماً مقارنة بالطرق المدمجة. ومع ذلك، عندما قام الفريق بتدريب نموذج Qwen3.5-4B باستخدام هذه الآليات الموحدة، أصبح النموذج أكثر كفاءة بشكل ملحوظ.

بعد التدريب، قرأ النموذج عدداً أقل من أسطر التعليمات البرمجية بمقدار 7 مرات تقريباً، مع تحقيق معدل نجاح أعلى في مهام البرمجة المعقدة. كما كتب ملاحظات أكثر تفصيلاً في ذاكرته الخاصة، مما رفع أداءه في اختبارات مستقلة.

إلى أي مدى قد يتحسن أداؤك الشخصي إذا كان مساعدك الذكي يتذكر تفضيلاتك من عام مضى؟

على الرغم من هذه التحسينات، تعتمد SCLATE حالياً على معايير اختبار محددة تم نقلها إلى نظامها. ولا تأخذ المنصة في الحسبان جميع المتغيرات الواقعية الممكنة حتى الآن، كما أن الدراسة لم تختبر كافة هياكل الوكلاء المتاحة على المنصة.