باحثو Apple يحددون قيوداً جوهرية في نماذج الانتشار المتقطع

نشر باحثو تعلم الآلة في Apple مؤخراً دراسة تحلل كيفية إنشاء نماذج الانتشار المتقطع لمحتوى مثل الكلمات أو وحدات البكسل. تقوم هذه الأنظمة بإنشاء سلاسل من البيانات عبر التنبؤ بعدة رموز في وقت واحد، وقد بحث الفريق في الرياضيات الكامنة خلف هذه التوقعات.

اكتشف الفريق أن هذه النماذج تواجه صعوبات عندما تكون هناك روابط خفية بين العناصر. فإذا كان هناك رمز يعتمد على آخر، فإن توليد هذه الرموز بناءً على توزيعات لكل موقع بشكل مستقل غالباً ما يفشل في مطابقة بيانات التدريب الأصلية.

لاختبار ذلك، استخدم المؤلفون مهمة اصطناعية تسمى ScanAndAdd. وتأكدوا أنه كلما تم تحديد مجموعة من موقعين أو أكثر غير معروفين، توجد تبعية كامنة لا تستطيع التوزيعات التقليدية لكل موقع حلها بسهولة.

حتى عندما تبدو نماذج مختلفة متطابقة في إحصائياتها الفردية لكل موقع، فإن مخرجاتها الكلية قد تختلف بشكل كبير بسبب كيفية تعاملها مع مجموعات القيم. وقاس الباحثون التوزيع الناتج ووجدوا أنه أعلى بـ 29 ضعفاً من مستوى ضوضاء العينة.

تخيل الأمر كأنك تحاول حل أحجية لا تتناسب قطعها بشكل صحيح إلا إذا أخذت الصورة الكاملة بعين الاعتبار، بدلاً من مجرد النظر إلى لون كل مربع على حدة.

تسلط هذه الدراسة الضوء على فجوة رياضية في طرق أخذ العينات الحالية. ويشير الباحثون إلى أن نتائجهم تنطبق تحديداً على أساليب الانتشار المتقطع الحالية، لكنهم لم يختبروا كل التغييرات المعمارية الممكنة أو تقنيات التحسين المستقبلية لهذه النماذج.