باحثون يطورون طريقة جديدة لتحسين تحديث المعلومات في نماذج الذكاء الاصطناعي
إطار عمل FOVEATED يمنع النماذج من الاعتماد المفرط على سياق التدريب عند تعلم حقائق جديدة.
قدمت ورقة بحثية جديدة تقنية تسمى FOVEATED لمساعدة نماذج اللغة الكبيرة على تحديث معلوماتها بدقة أكبر. عادة، عندما يحاول الباحثون تزويد نموذج ذكاء اصطناعي بحقائق جديدة، يميل النموذج إلى حفظ النص المحيط بدلاً من المعلومة ذاتها. هذه المشكلة تجعل النموذج يبدو وكأنه تعلم الحقيقة، لكنه يفشل في استرجاعها بمجرد إزالة السياق الأصلي.
كيف تعمل التقنية
يتم تطبيق التعديل أثناء عملية التحرير وإزالته لاحقاً، مما يترك الترميز الموضعي الأصلي للنموذج دون تغيير عند الاستخدام الفعلي.
عند تعليم الذكاء الاصطناعي، فإنه غالباً ما ينظر إلى الجمل المحيطة لفهم الحقيقة. وجد فريق البحث أن النماذج تعاني لأنها تصبح 'كسولة' عندما تحتوي الحقائق اللاحقة على معلومات خلفية أكثر فائدة أثناء مرحلة التدريب. هذا يجعل النموذج يؤدي بشكل جيد أثناء الاختبارات، لكنه يفشل في تخزين المعرفة الفعلية.
يعالج FOVEATED هذه المشكلة عبر إنشاء رؤية مركزة لكل جملة. يقوم النظام بتغيير مواقع المفاتيح في ذاكرة النموذج بشكل عشوائي أثناء عملية التحديث. تخيل طالباً يحاول تعلم مفهوم جديد من خلال النظر إلى أجزاء مختلفة من صفحة الكتاب، بدلاً من مجرد حفظ الفقرة بأكملها.
لماذا هذا مهم
يتم تطبيق هذه الطريقة أثناء مرحلة التعديل فقط، وتتم إزالتها بعد ذلك. تظل الإعدادات الأصلية للنموذج كما هي عند استخدامه في المهام الحقيقية. اختبر الفريق هذه التقنية عبر خمسة أنظمة تعديل مختلفة ونوعين من نماذج اللغة الكبيرة.
هل يمكن لهذا النهج أن يجعل نماذج الذكاء الاصطناعي موثوقة تماماً مثل قاعدة بيانات منظمة؟
تعتمد الدراسة على مقاييس أداء مخبرية محددة ولا تغطي كل السيناريوهات الممكنة لتحديث المعرفة. قد تختلف فعالية هذه التقنية اعتماداً على حجم النموذج وتعقيد المعلومات التي يتم تدريسها.
المصدر: arXiv cs.CL