نموذج مصغر بحجم 66 ميغابايت كشف خللا في Transformers بقي شهرين في الفرع الرئيسي

تقول هاغينغ فيس (Hugging Face) إن نموذجا اختباريا صغيرا كشف خللا مر من فحوصها المعتادة قرابة شهرين. وصفت الشركة الحالة في تدوينة عن مكتبة Transformers، والأرقام أدناه من إعادة تشغيل داخلية لتعديلات سابقة.

الخلل الذي لم يلاحظه أحد

في 30 يوليو 2026 فعّلت Transformers آلية SDPA في بايتورش لنموذج T5. فتأثر نموذج UMT5 بشكل جانبي. صار المفكك فيه قادرا على رؤية الكلمات القادمة أثناء التدريب، أي أنه يختلس الجواب الذي يُفترض أن يتوقعه.

لم ينهر شيء. وبقي الخلل في الفرع الرئيسي حتى إصلاحه في 28 سبتمبر.

الفكرة: تصغير النموذج

تدعم Transformers أكثر من 750 نوعا من النماذج. وتشغّل أكثر من 88,000 اختبار على المعالج المركزي، وأكثر من 200,000 اختبار على بطاقات GPU يوميا. تشغيل النماذج الحقيقية على كل طلب دمج غير عملي، فقد يصل الخلل قبل أن يلتقطه الفحص المجدول.

حل هاغينغ فيس هو نموذج اختبار مصغر يُبنى من إعدادات النموذج الحقيقي، بطبقات أقل وأضيق مع الإبقاء على كل أنواع الطبقات. أما ملفات المُرمِّز فتبقى كما هي. استخدم نموذج UMT5 المصغر 66 ميغابايت من الأوزان، مقابل 1,227 ميغابايت للنموذج الأصلي.

ما الذي يحتويه العقد

يسمى المعيار المقترح transformers-mic، أي عقد تكامل النموذج. وللعقد ثلاثة أجزاء:

• نموذج مصغر مثبّت يُنشر مرة واحدة
• مثال استخدام قابل للتشغيل، مثل توليد نص أو خطوة تدريب
• نتائج مرجعية مسجّلة يراجعها إنسان

يصمد العقد إذا أعطى المثال على النموذج المصغر النتائج المرجعية نفسها. عقد SmolLM مثلا يفحص معرّفات الرموز وخسارة التدريب وأن التدرجات محدودة وأن خطوة المُحسّن تغيّر الأوزان.

النتائج

عند إعادة تشغيل خمسة أشهر من التعديلات، التقط نموذج UMT5 المصغر الخلل في كل تعديل بين 30 يوليو و28 سبتمبر. اختلف لوغاريتم الاحتمال بمقدار 1.22 واختلفت خسارة التدريب بنحو 0.20. وكان لا بد أن يستخدم العقد مسار SDPA الافتراضي، فمسار eager وحده فوّت الخلل.

وعلى فرع تجريبي أُلغي فيه الإصلاح، فشل الفحص مجددا. واستغرقت خطوة T5 على المعالج 13.4 ثانية دون احتساب الإعداد.

بناء النماذج المصغرة

أداة سطر أوامر اسمها tmic تصيغ العقد وتبني النموذج المصغر. يكتب نموذج لغوي المسودة، لكن البشر يوافقون على أي تغيير في المتوقع. وفي Llama 4 Scout تقلصت 108.6 مليار معلمة إلى 44.7 مليون.

أما نموذج Whisper المصغر بأوزان عشوائية فبالكاد تأثر بتغيّر الصوت. فدُرّب على بضع نغمات مقترنة بكلمات. التقطت النسخ العشوائية 18 من 24 خللا مزروعا، والنسخ المدرّبة التقطت الـ24 كلها.

تخيّل جهاز إنذار دخان يكفيه عود ثقاب لا بيت يحترق. هذه هي المقايضة.

الحدود

حتى 1 نوفمبر 2026 يبلّغ فحص MIC في Transformers عن الإخفاقات دون أن يمنع الدمج. ولم تقِس الشركة بعد كم خللا حقيقيا يلتقط في طلبات الدمج، ولا عدد الإنذارات الكاذبة، ولا كلفة مراجعة النتائج المرجعية. والأخطاء في Whisper كانت مزروعة، وفوّتت النسختان خللا في فك الترميز المساعد ظهر مع النموذج الحقيقي. والتغطية جزئية، والنماذج المصغرة لن تحل محل اختبارات التكامل الكاملة.