باحثون يطورون طريقة جديدة لمنع نماذج اللغة من نسيان المعلومات القديمة

عندما تقوم بتعليم الذكاء الاصطناعي مهارة جديدة، غالباً ما ينتهي به الأمر بالكتابة فوق ما تعلمه سابقاً. هذه عقبة شائعة في عالم تعلم الآلة تُعرف بالنسيان الكارثي. تقدم ورقة بحثية جديدة طريقة تسمى تقطير الشروط التوليدي، أو CAGD، لحل هذه المشكلة.

كيف تعمل التقنية

بدلاً من إجبار النموذج على تذكر كل شيء بشكل مثالي، استخدم الباحثون حلاً ذكياً. احتفظوا بمكتبة صغيرة من المطالبات السابقة واستخدموا نسخة مجمدة من النموذج القديم لتوجيه عملية التعلم. يراقب النظام كيفية تعامل النموذج القديم مع تلك المطالبات ويحاول مطابقة ذلك السلوك أثناء استيعاب معلومات جديدة.

تخيل أنك تدرس مادة جديدة بينما تحاول ألا تفقد فهمك للمادة السابقة. بدلاً من إعادة قراءة كل كتاب مدرسي من العام الماضي، تحتفظ بملخص للمفاهيم الأساسية التي تساعدك على استرجاع أهم الأنماط.

أداء أفضل

اختبر الفريق هذه الطريقة على نموذج لغوي يعتمد على الانتشار المقنع بحجم 219 مليون معامل. باستخدام طريقتهم الجديدة، قللوا بشكل كبير من معدل الخطأ أثناء التدريب المستمر عبر أربع مهام مختلفة. ووجدوا أيضاً أن هذا النهج يعمل بشكل جيد عبر أنواع مختلفة من نماذج اللغة، بما في ذلك Qwen3.

حدود التقنية

على الرغم من أن النتائج واعدة، إلا أن للطريقة حدودها. أشار الباحثون إلى أنه بينما يساعد نهجهم في الحفاظ على اتساق تنسيق الإجابات في مهام مثل GSM8K، فإن قدرة النموذج على الاحتفاظ بمطابقات دقيقة للحقائق قد تتراجع مع زيادة حجم النموذج. لم يختبر الفريق هذه التقنية بعد على النماذج التجارية الضخمة ذات المليارات من المعاملات، لذا لا يزال من غير الواضح ما إذا كان هذا المبدأ ينطبق على ذلك النطاق. هل يمكننا في النهاية بناء نموذج يتعلم إلى الأبد دون الحاجة إلى إعادة تدريبه من الصفر؟