أربعة نماذج رائدة هبطت إلى 13% أو أقل في أصعب اختبارات تتبع التغيّرات ضمن StateBench

تفقد أفضل نماذج الذكاء الاصطناعي الخيط عندما يواصل نصٌّ طويل تغيير الوقائع، بحسب مقياس جديد اسمه StateBench. ويقيس المقياس مدى قدرة النماذج على تتبّع الحالة الحالية للأشياء مع تقدّم المستند.

النتيجة الأبرز

طُلب من جيميناي 3.8 فلاش (Gemini 3.8 Flash) وكلود أوبس 5.5 (Claude Opus 5.5) وGPT-6 سول ولونا إعطاء القيمة النهائية لكل متغير. أجادت الأربعة المستويين الأولين. أما في المجاميع المتراكمة والنسخ والتبديل فتراجعت الدقة بحدة مع طول المدخلات. وفي أطول مسائل النسخ والتبديل هبطت إلى 13% أو أقل.

ما معنى تتبّع الحالة

فكّر في رواية بوليسية يعطي فيها جون ماري سكينًا، ثم يعطيها لاحقًا ما في حقيبته. للإجابة عن سؤال، عليك متابعة كل تغيير بالترتيب. والشيفرة البرمجية تفعل الشيء نفسه مع متغيرات تُضبط ثم يُعاد ضبطها.

أربعة مستويات من الصعوبة

• قيم ثابتة: تُحدَّد القيمة مرة واحدة ولا تتغير، مثل تاريخ الميلاد.
• قيم مستبدلة: المهم آخر قيمة فقط، مثل منظّم الحرارة.
• مجاميع متراكمة: كل تحديث يبني على القيمة الحالية، مثل نتيجة لعبة.
• النسخ والتبديل: متغير يأخذ القيمة الحالية لمتغير آخر. تخيّل ساحرًا يبدّل أكوابًا تحتها كرة.

بنى الفريق المستويات الأربعة من التسلسل نفسه، بعدد المتغيرات نفسه ونقاط التحديث نفسها. يختلف نوع التحديث فقط، فتصبح المقارنة عادلة.

النماذج المفتوحة كما هي

جرّب الفريق أيضًا نماذج مفتوحة مدربة مسبقًا، منها المحوّل أولمو 3 (Olmo 3) وأولمو هايبرد (Olmo Hybrid) وهو نسخة أضيفت إليها طبقات Gated DeltaNet. أجادت غالبًا القيم الثابتة، وفقدت دقتها في القيم المستبدلة مع طول المدخلات، وبقيت عند مستوى الصدفة في النسخ والتبديل. وكان للصيغة أثر أيضًا: نموذجان بحجم 275 مليون معامل سجّلا قرب الحد الأعلى في صيغة من مسائل القيم الثابتة، لكنهما اقتربا من الصدفة عندما صيغت المسألة نفسها كتعديلات في جدول بيانات.

التدريب المباشر على المهمة

ثم درّب الفريق نماذج بحجم 275 مليون معامل من الصفر على تسلسلات حتى 256 تعيينًا، واختبرها على ما يصل إلى 64,000. حافظت نماذج Gated DeltaNet والنماذج الهجينة على دقة شبه كاملة في المستويات الثلاثة الأولى، حتى عبر عشرات الآلاف من التعيينات. أما المحوّلات فتعلمت المستويات الأسهل وتراجعت مع الطول، ولم تتعلم المستوى الأصعب. وبقي النوع الأكثر مرونة من Gated DeltaNet شبه مثالي في المستوى الأصعب حتى نحو 10 أضعاف طول التدريب.

إذن النتائج الضعيفة قبل التدريب المباشر تشير عند Gated DeltaNet والنماذج الهجينة إلى التدريب لا إلى التصميم. أما المحوّلات فلم يساعدها التدريب المباشر في المستوى الأصعب.

إذا كان النموذج يضيع بعد بضعة آلاف من التبديلات، فكم يصح أن نثق به في سجل طويل جدًا؟

الحدود

يفترض StateBench عددًا ثابتًا من المتغيرات، بينما تضيف المحادثات الحقيقية أشخاصًا وأشياء جديدة مع الوقت. ويقول الفريق إن هذه الحالة غير مغطاة بعد. كما يبقى موضع النوع الأكثر تقييدًا من Gated DeltaNet في التسلسل الهرمي مفتوحًا، ومنه إن كان يحل كل مسائل المجاميع المتراكمة.