باحثون يحذفون أكثر من 100 مليون معامل من نموذج لغوي

استكشفت ورقة بحثية حديثة نُشرت على منصة arXiv ما إذا كانت نماذج الذكاء الاصطناعي تحتاج حقاً إلى مكون يسمى جدول تضمين الإدخال القابل للتدريب. يساعد هذا الجدول النماذج عادةً على تحويل النصوص إلى أنماط رقمية تفهمها أثناء عملية التدريب.

لاختبار ذلك، قام الباحثون ببناء ثلاثة نماذج لغوية مختلفة بحجم 1.7 مليار معامل من الصفر. وبينما استخدم نموذج واحد الجدول التقليدي القابل للتدريب، اعتمد النموذجان الآخران على رموز هوية ثابتة بدلاً من تعلم هذه المدخلات. ومن خلال استخدام هذه الواجهات الثابتة، نجح الفريق في إزالة 100.7 مليون معامل قابل للتدريب من النماذج دون تعطيل قدراتها الأساسية.

تم تقييم جميع النماذج باستخدام مهام قياسية مثل HellaSwag و PIQA لقياس أدائها. وحافظت النماذج ذات رموز الإدخال الثابتة على ذكاء كبير، حتى وإن كان أداؤها أقل قليلاً من الإصدار الذي استخدم الجدول القياسي القابل للتعلم.

فكر في الأمر وكأنك تدرس طالباً من خلال منحه قاموساً جاهزاً بدلاً من السماح له بابتكار لغته الخاصة. تظهر الدراسة أن وجود واجهة إدخال ثابتة لا يمنع النموذج من التعلم بفعالية.

على الرغم من أن هذا النهج يقلل من عدد المعاملات، إلا أن الهدف لم يكن بالضرورة إنشاء نموذج أسرع، بل تحديد أي أجزاء هيكلية في الذكاء الاصطناعي ضرورية حقاً للتعلم. هل يمكننا في نهاية المطاف بناء هياكل ذكاء اصطناعي أكثر كفاءة من خلال تبسيط هذه الطبقات الأساسية؟