باحثون يجدون أن 10% من رموز الذكاء الاصطناعي تستهلك 80% من المعالجة

قيّمت ورقة بحثية جديدة منشورة على arXiv مقدار المعالجة الحسابية التي يحتاجها كل رمز في نماذج اللغة الكبيرة.

استخدم الباحثون طريقة تسمى Mixture-of-Agents لاختبار هذا الأمر.

أنشأوا مجموعة من 15 نموذج لغة مختلف الأحجام.

حاول كل نموذج التنبؤ بالكلمة التالية في تسلسل معين.

أصغر نموذج نجح في الإجابة حدد تكلفة الرمز.

كشفت هذه الطريقة عن اختلال مفاجئ في طريقة عمل الذكاء الاصطناعي.

معظم الرموز سهلة ويمكن لأصغر النماذج التعامل معها.

نموذج بحجم 0.5B أعاد إنتاج 92% إلى 95% من الرموز المرجعية.

لكن 10% الأكثر صعوبة من الرموز احتاجت إلى أكبر قدر من المعالجة.

شكلت هذه الرموز الصعبة 64% إلى 80% من إجمالي FLOPs المقدرة.

تخيل أن تدفع نفس السعر لكوب ماء ولألماسة.

هذا ما تفعله أنظمة الذكاء الاصطناعي الحالية لكل كلمة.

اختبر الفريق هذه الفكرة على اختبارات مثل MATH-500.

باستخدام هذه البيانات، حسّنوا كفاءة توجيه النماذج.

انخفض زمن الاستجابة المتوقع من 7.59 ثانية إلى 5.12 ثانية.

استخدمت نماذج المسودة أيضاً 32.6% أقل من الرموز بهذه الطريقة.

يقترب هذا من أن أنظمة الذكاء الاصطناعي الحالية تهدر طاقة كبيرة على الكلمات السهلة.

تُظهر الدراسة أن التخصيص الأذكى يمكن أن يجعل الذكاء الاصطناعي أسرع وأرخص.

لا تدّعي الورقة أن هذا يعمل لكل مهمة ممكنة.

تركز على اختبارات محددة وعائلات نماذج مثل Qwen وOLMo.

يحتاج الأمر لمزيد من الاختبار لمعرفة إذا كان هذا يصمد في الاستخدام الحقيقي.