نماذج الذكاء الاصطناعي متعددة الوسائط تحتاج إلى مزيج بيانات مختلف لتعلم الصوت والصورة والنص

تقدم قوانين القياس الجديدة لتدريب نماذج الذكاء الاصطناعي خارطة طريق لموازنة بيانات النص والصورة والصوت. تشير الأبحاث إلى أن أنواع البيانات المختلفة لا تستفيد بالضرورة من نفس وصفة التدريب.

قام الباحثون باختبار نماذج تراوحت بين 457 مليون و8.3 مليار معامل باستخدام بنيات Mixture-of-Experts. ووجدوا أن إعدادات الحوسبة يجب أن تكون مخصصة لكل وسيط.

يعتبر الصوت مكثفاً من حيث النموذج. فهو يستفيد أكثر عند زيادة حجم النموذج بدلاً من إضافة المزيد من الرموز (tokens). وعلى العكس من ذلك، تتحسن مهام النص والرؤية بشكل أفضل عندما ينمو حجم البيانات وحجم النموذج معاً.

هناك أيضاً حد لقيمة بيانات التدريب. تكرار عينات الرؤية أو الصوت لأكثر من مرتين لا يوفر أي فائدة تذكر في أداء النموذج.

يعد التداخل بين أنواع البيانات المختلفة عاملاً مهماً أيضاً. وجد الباحثون أن بيانات الرؤية تتداخل بقوة مع تعلم الصوت. ومع ذلك، فإن بيانات الصوت لا تعطل بشكل كبير عملية التعلم للنص أو الرؤية.

قد توفر هذه النتائج على المطورين تكاليف حوسبة كبيرة من خلال تحسين كيفية خلط مجموعات بيانات التدريب الخاصة بهم. هل تعتقد أن هذا سيؤدي إلى مساعدين ذكاء اصطناعي أكثر كفاءة في المستقبل القريب؟

من المهم ملاحظة أن هذه الدراسة ركزت بشكل خاص على بنيات Mixture-of-Experts. ولم يؤكد الباحثون بعد ما إذا كانت قوانين القياس هذه تنطبق على أنواع أخرى من النماذج، مثل نماذج المحولات الكثيفة (dense transformer models).