باحثون يحققون توليد الفيديو في الوقت الفعلي على معالجات Trainium

تعاون فريق Neuron Science في Amazon مع منصة Reactor لتحسين أداء نماذج الذكاء الاصطناعي في إنتاج الفيديو. ركز الفريق على تشغيل نماذج الانتشار التوليدي على معالجات AWS Trainium. هذه النماذج تنشئ إطارات الفيديو بالتسلسل، تماماً كما تتوقع النماذج اللغوية الكلمة التالية.

يتطلب بث الفيديو قوة معالجة عالية. يجب أن يكون كل إطار جاهزاً قبل موعد عرضه لتجنب التقطيع في الصورة. اختار الفريق نموذجاً يسمى Rolling Forcing لاختبار تحسيناتهم، حيث يمكنه توليد 16 إطاراً في الثانية، وهو المعدل القياسي لعرض فيديو سلس.

تجد الأدوات البرمجية العامة صعوبة في التعامل مع أنماط الذاكرة المعقدة لهذه المهمة. استخدم الفريق واجهة Neuron Kernel Interface (NKI) لكتابة تعليمات برمجية مخصصة تتواصل مباشرة مع العتاد. سمح هذا بتقليص زمن معالجة عمليات الذاكرة من ثوانٍ إلى أجزاء من الألف من الثانية.

كما طبق الفريق استراتيجية توزيع المهام لتقليل الضغط على المعالجات. تم تقسيم آلية الانتباه الذاتي، التي تسمح للنموذج بفهم العلاقات بين أجزاء الفيديو، على عدة أنوية برمجية لتفادي اختناقات الذاكرة.

"في مهام الوقت الفعلي حيث يهم كل جزء من الألف من الثانية، الوصول المباشر للعتاد هو ما يجعل الأداء المخصص للإنتاج ممكناً."

هل يقربنا هذا من رؤية عوالم مولدة بالذكاء الاصطناعي وتفاعلية بالكامل في ألعاب الفيديو أو البرامج الإبداعية اليومية؟

تعمل هذه الطريقة حالياً مع معماريات نماذج محددة وتتطلب تخصيصاً دقيقاً لبرمجيات الأنوية. لم يوضح الباحثون ما إذا كانت هذه التقنيات توفر نفس زيادات السرعة عبر جميع أنواع نماذج الفيديو التوليدي أو على إعدادات عتاد أصغر.