باحثون يطورون نظام FluidPD لمعالجة اختناقات كفاءة خوادم LLM

تتضمن خدمة نماذج اللغة الكبيرة مرحلتين متميزتين: المعالجة الأولية لفهم المدخلات، ومرحلة الإنتاج لصياغة الرد. غالباً ما تخصص الأنظمة الحالية أجهزة ثابتة لكل مرحلة. هذا النهج الجامد يتسبب في مشاكل عند تغير أنماط حركة المرور، مما يؤدي إلى هدر الموارد في جانب بينما يعاني الآخر من اختناقات.

قدم فريق من الباحثين نظام FluidPD، وهو نظام مرن يدير هذه الأدوار بشكل فوري. بدلاً من الإبقاء على الخوادم في أدوار ثابتة، يسمح FluidPD لها بالتكيف مع الطلب الحالي. يستخدم النظام آليتين ذكيتين لموازنة العبء.

أولاً، تتيح تقنية FluidToken للنظام استعارة السعة من جانب الإنتاج للمساعدة في مهام المعالجة الأولية أثناء طفرات الطلب المفاجئة. وهذا يمنع مرحلة المعالجة من التحول إلى نقطة تكدس.

ثانياً، تتيح تقنية FluidRole للنظام تغيير دور الخادم دون الحاجة لإعادة تشغيله أو إعادة تحميل النموذج. من خلال تبديل مهام العمال بين المعالجة والإنتاج في مكانهم، يحافظ النظام على أداء عالٍ حتى عند تغير أنواع الطلبات بشكل كبير.

يعتمد النظام على مؤشرات ضغط خفيفة تقيس استهلاك الموارد قبل أن يؤدي ذلك إلى تأخير في الخدمة. أظهرت الاختبارات على أحمال عمل Azure أن FluidPD حسّن جودة الخدمة بشكل كبير مقارنة بالإعدادات الثابتة مثل SGLang، محققاً تحسناً يصل إلى 94.6% في مقاييس محددة.

هل تساءلت يوماً لماذا تتباطأ روبوتات الدردشة أحياناً خلال ساعات الذروة؟ قد يجعل هذا النوع من موازنة الأحمال الذكية تلك التجارب أكثر سلاسة في المستقبل.

ومع ذلك، يركز FluidPD بشكل أساسي على تحسين السعة الموجودة بدلاً من إنشاء طاقة حوسبة جديدة. تم اختبار النظام على مسارات عمل فعلية، ولكن قد يختلف أداؤه في العالم الحقيقي بناءً على إعدادات البنية التحتية وأحجام النماذج التي لم تغطها هذه الدراسة.