نموذج TinyLlama بحجم 1.1 مليار معامل طابق معلّمه ذا 70 مليارًا وعمل أسرع حتى 20 مرة
جمعت Amazon وBooking.com بين أسلوبين للتسريع، فأجابت ميزة Smart Filters عن 99% من الاستفسارات أسرع 15 مرة.
باختصار
نموذج صغير بجودة كبير وأسرع 20 مرة
قلّصت Amazon وBooking.com نموذجًا بـ 70 مليار معامل إلى 1.1 مليار. حافظ على الجودة وعمل أسرع بين 10 و20 مرة. وأجابت Smart Filters عن 99% من الاستفسارات أسرع 15 مرة.
أصبح نموذج لغوي صغير يطابق نموذجًا عملاقًا في مهام السفر، ويجيب أسرع بما بين 10 و20 مرة. هذه نتيجة نشرها Amazon Science بعد عمل مع Booking.com. وقُدّم العمل في مؤتمر Association for Computational Linguistics (ACL) ونال جائزة أفضل ورقة في مسار الصناعة.
المشكلة: النماذج الكبيرة بطيئة ومكلفة
تقدّم النماذج اللغوية الكبيرة نصائح سفر جيدة، لكنها تضم عشرات المليارات من المعاملات. وهذا يجعلها مكلفة، وتزداد الكلفة مع كل سؤال من العملاء. وقد تكون بطيئة جدًا لتطبيقات الويب والجوال، حيث قد يكلّف تأخير 100 ميلي ثانية خسارة عملاء.
حيلتان معًا
الأولى هي تقطير المعرفة. يضع نموذج «معلّم» كبير تصنيفات للبيانات، ثم يتعلم نموذج «طالب» صغير تقليد سلوكه.
الثانية هي Medusa. عادةً يكتب النموذج كلمة أو جزء كلمة في كل خطوة. أما Medusa فتضيف أجزاء تنبؤ إضافية تسمى رؤوسًا، فيخمّن النموذج عدة قطع في وقت واحد. وشرائح الرسوميات تتعامل جيدًا مع هذا النوع من العمل المتوازي.
اختار الفريق TinyLlama بحجم 1.1 مليار معامل طالبًا، وLlama-3.1 بحجم 70 مليارًا معلّمًا. وأُلحقت رؤوس Medusa بالطالب أثناء تدريبه على تنبؤات المعلّم مع بيانات صنّفها بشر.
ماذا أضافت كل خطوة
- الضبط الدقيق لـ TinyLlama على كل مهمة تفوّق أصلًا على GPT-4o بأمثلة قليلة، لكنه بقي دون المعلّم.
- التقطير سدّ أكثر من 90% من الفجوة وجعل الاستدلال أسرع نحو 6 مرات.
- رؤوس Medusa أضافت تسريعًا من 2 إلى 3.6 مرة.
اختبروا نسختين من Medusa. أعطتا تسريعًا متقاربًا دون خسارة جودة تُذكر. وMedusa-2 تدرّب كل شيء في مرحلة واحدة، فهي أبسط للفرق التي تدير نماذج كثيرة.
ثلاث ميزات في Booking.com
- Smart Filters، التي تحوّل البحث المكتوب إلى مرشحات منظمة، استجابت أسرع 15 مرة لـ 99% من الاستفسارات.
- AI Trip Planner سجّل زيادة 2.9% في تفاعل المستخدمين مقارنة بـ GPT-3.5.
- أوصاف أماكن الإقامة التي يكتبها الذكاء الاصطناعي نالت 1.4% تقييمات «مفيد» أكثر، بأقل من ثلث كلفة GPT-4.
تخيّل أنك تكتب «فندق هادئ على الشاطئ مع مسبح» فتظهر المرشحات قبل أن ترمش. هذا هو نوع السرعة المقصود.
الحدود
كل ميزة لها نموذج خاص مضبوط على بيانات مجالها، فهذا ليس نموذجًا واحدًا لكل شيء. والمصدر يعرض المكاسب نسبًا ومضاعفات سرعة لا أزمنة خام. ولا يشرح كيف قيست الجودة بعد مطابقة المعلّم، ولا يذكر اختبارات خارج هذه الميزات الثلاث.
المصدر: Amazon Science