باحثون يطلقون معياراً جديداً لاختبار نماذج اتخاذ القرار السريعة في الذكاء الاصطناعي

قدم الباحثون إطار عمل جديداً يسمى JEVal لتقييم مدى فعالية نماذج اتخاذ القرار المتخصصة مقارنة بنماذج اللغة الكبيرة للأغراض العامة. حللت الدراسة 25 نموذجاً مختلفاً عبر 11257 حالة اختبار تغطي 10 مجالات متنوعة.

بينما تتفوق نماذج اللغة الكبيرة في الاستدلال، تهدف نماذج اتخاذ القرار إلى السرعة والكفاءة. وجد فريق الدراسة أن هذه النماذج الصغيرة تقدم أفضل أداء عندما تمتلك أدلة واضحة لاتخاذ قراراتها، لكنها تضعف عندما تتطلب المهمة معرفة متخصصة.

كشفت النتائج عن مقايضة بين السرعة والموثوقية. ففي المهام المتعددة الخطوات، قد توفر النماذج الوقت في البداية، لكنها ترتكب أخطاء تتراكم مع مرور الوقت، مما يؤثر على النتيجة النهائية.

ولمعالجة هذه الفجوات، اقترح الباحثون نموذجين جديدين هما InnerJev-4B و InnerJev-27B. يستخدم هذان النموذجان تقنية تحول الاستدلال المعقد إلى خطوة واحدة سريعة. يمكن لنسخة 27B الإجابة على الاستفسارات في حوالي 0.1 ثانية مع مضاهاة أداء النماذج السابقة.

إذا كنت تبني نظاماً لإدارة جدولك اليومي، هل ستفضل نموذجاً سريعاً جداً قد يخطئ أحياناً، أم نموذجاً أبطأ وأكثر دقة في تفكيره؟

من المهم ملاحظة أن هذه النماذج تواجه صعوبات في تقدير حالة عدم اليقين بدقة، وغالباً ما تبدي ثقة كبيرة في خياراتها حتى عندما تكون خاطئة. كما أنها لا تزال أقل كفاءة من النماذج الكبيرة في مهام تحديد ملفات تعريف المستخدمين والمحاكاة الاجتماعية.