اختبار StateBench: أربعة نماذج رائدة تهبط إلى 13% أو أقل في أصعب مهام تتبع الحالة

أطلقت Ai2 اختبار StateBench لقياس قدرة نماذج اللغة على تتبع أشياء تتغير عبر وثيقة طويلة. النتائج من مدونة المختبر نفسه، وتشمل نماذج مفتوحة وأربعة نماذج رائدة.

ما معنى تتبع الحالة

تخيل قصة يعطي فيها جون ماري سكينًا. ثم يسأل أحدهم: من يحملها الآن؟ على النموذج أن يتذكر كل تسليم، لا الجملة الأخيرة فقط. والبرمجة مثلها: متغيرات تُضبط ثم تتغير.

أربعة مستويات صعوبة

يضم StateBench أربعة مستويات، لكل منها نوع من التحديثات.

• ثابت: قيمة تُحدَّد مرة ولا تتغير، مثل تاريخ الميلاد.
• دوري غير متكرر (aperiodic): تُستبدل القيمة، مثل ضبط المكيّف. الأحدث هو المهم.
• قابل للحل (soluble): كل تحديث يبني على القيمة الحالية، مثل نتيجة لعبة.
• المحدود العام: متغير ينسخ قيمة متغير آخر، كمبادلة أكواب تخفي كرة تحت أحدها.

تتشارك المسائل الأربع عدد المتغيرات ومواضع التحديث نفسها. يتغير نوع التحديث فقط، فتصبح المقارنة عادلة.

ماذا فعلت النماذج الرائدة

اختبرت Ai2 النماذج جيميناي 3.8 فلاش (Gemini 3.8 Flash) وكلود أوبس 5.5 (Claude Opus 5.5) وGPT-6 Sol وLuna. قرأ كل نموذج قائمة إسنادات وأعطى القيمة النهائية لكل متغير. نجحت الأربعة في المستويين الأول والثاني. لكن في المستويين القابل للحل والمحدود العام انخفضت الدقة بحدة مع طول المدخلات، حتى 13% أو أقل في أطول مسائل المستوى الأخير.

النماذج المفتوحة والتدريب المباشر

بين النماذج المفتوحة المدرّبة على البيانات نفسها، أجاد معظمها المستوى الثابت، وتراجع في الثاني مع طول المدخلات، وبقي عند مستوى الصدفة في المحدود العام. وللصيغة أثر: نموذجان صغيران بحجم 275 مليون معامل سجلا قرب الحد الأقصى في صيغة، وقرب الصدفة في المسألة نفسها حين صيغت كتعديلات جدول بيانات.

ثم دربت Ai2 نماذج بحجم 275 مليون معامل من الصفر على StateBench، بتسلسلات حتى 256 إسنادًا، واختبرتها على ما يصل إلى 64,000. النماذج المعتمدة على Gated DeltaNet والهجينة، التي تحمل ذاكرة متجددة، عمّمت شبه تام في المستويات الثلاثة الأولى. أما المحولات فتراجعت مع طول التسلسل ولم تتعلم المستوى المحدود العام. وبقيت النسخة الأكثر مرونة من Gated DeltaNet شبه مثالية في أصعب مستوى حتى نحو عشرة أضعاف أطول تسلسل رأته في التدريب.

إذن في هذه التصاميم يبدو أن الضعف يأتي من التدريب المسبق لا من البنية. المحولات لم تحظَ بهذا الإنقاذ. فهل تأتمن نموذجًا على جدول بياناتك الطويل؟

الحدود

يفترض StateBench عددًا ثابتًا من المتغيرات، بينما تضيف المحادثات الحقيقية أشخاصًا وأشياء جديدة. وتقول Ai2 إن موضع النسخة الأكثر تقييدًا من Gated DeltaNet في التصنيف لا يزال مفتوحًا، ومنه أثر الدقة العددية وطبقات الانتباه. واختُبرت النماذج الرائدة كما هو موصوف فقط، ولا تعطي المصدر نتائج غير ذلك.