Hugging Face تطلق Olmo-core 3 لتوسيع نطاق نماذج خليط الخبراء الكبيرة

أصدرت Hugging Face نظام Olmo-core 3، وهو بنية تحتية جديدة تهدف إلى جعل تدريب نماذج اللغة الكبيرة أكثر كفاءة. يركز النظام على بنية خليط الخبراء (MoE)، التي تستخدم أجزاء متخصصة من النموذج لمعالجة المعلومات بدلاً من تنشيط النموذج بالكامل في كل مرة.

تخيل مكتبة ضخمة لا يتم فيها استدعاء سوى الخبراء المعنيين للإجابة على سؤال محدد. توفر هذه الطريقة الطاقة ووقت الحوسبة، لكنها تخلق تحديات معقدة في التنسيق. يعالج Olmo-core 3 هذه التحديات من خلال إبقاء مكونات الخبراء مقيمة على وحدات معالجة الرسومات (GPU)، مما يلغي الحاجة إلى جمع ونقل أوزان النموذج باستمرار بين الأجهزة.

يقدم الإطار تقنيات متعددة لإدارة هذه النماذج الضخمة، بما في ذلك التوازي في العمليات، وتقسيم الطبقات، والمحسّنات الموزعة. ومن خلال تقسيم العمل عبر الأجهزة بفعالية، يسمح النظام بتدريب نماذج تحتوي على أكثر من تريليون معلمة.

أظهرت الاختبارات على أجهزة B300 مكاسب كبيرة في الأداء، حيث حققت الحزمة الجديدة ضعف سرعة الإصدار السابق بمقدار 2.7 مرة. كما يتضمن النظام تنسيق MXFP8، وهو تنسيق منخفض الدقة يقلل من استخدام الذاكرة مع الحفاظ على سرعة التدريب.

هل يمكن لهذا النهج أن يجعل النماذج الأكثر قوة في متناول مختبرات الأبحاث الصغيرة؟ على الرغم من أن النتائج واعدة، أشار الفريق إلى أن بعض التقنيات، مثل تداخل الاتصال والحوسبة، لم تؤدِ دائمًا إلى تحسين الأداء العام في اختباراتهم. علاوة على ذلك، استخدمت بعض اختباراتهم واسعة النطاق التوجيه العشوائي لقياس إنتاجية النظام، وهو ما لا يعكس بالضرورة جودة النموذج المدرب بالكامل.