جيميناي 4 أرغون أصلح 67.8% من الثغرات الأمنية الحقيقية من المحاولة الأولى في CWE-bench v2

أطلقت شركة كوليير إيه آي (Collinear AI) الإصدار الثاني من CWE-bench، وهو اختبار علني يقيس قدرة وكلاء الذكاء الاصطناعي على إصلاح الثغرات الأمنية في برمجيات حقيقية. نُشر الإعلان على مدونة هاغينغ فيس (Hugging Face)، وجرى تقييم 11 نموذجاً.

كيف يعمل الاختبار

يحصل الوكيل على نسخة من مشروع مفتوح المصدر حقيقي وتعليمات قصيرة. مهمته أن يجد ثغرة أمنية ويصلحها دون أن يعطّل ما يعمل أصلاً.

التصحيح يتم بالكود لا بإنسان ولا بروبوت محادثة. لذلك تتكرر النتائج نفسها في كل مرة، ويمكن لأي شخص إعادتها دون تكلفة إضافية.

ما في المجموعة

تضم المجموعة العامة 100 مهمة. تغطي 91 نوعاً من CWE، وهي تسميات قياسية لأنواع الضعف في البرمجيات. ولا يكفي أن يتعرف النموذج على نمط مألوف كي ينجح.

تقول كوليير إن كل مهمة روجعت يدوياً. شملت الفحوص: هل التعليمات واقعية، وهل يفشل الكود الأولي وينجح الإصلاح المرجعي، وهل يُرفض الإصلاح المعروف من المشروع الأصلي. وهناك مجموعة سرية منفصلة لتتبع النماذج على مهام لم تَرَها من قبل.

النتائج

• تصدّر جيميناي 4 أرغون (Gemini 4 Argon) بنسبة 67.8% في pass@1 و81.0% في pass@4.
• جاء كلود أوبus 5.5 (Claude Opus 5.5) بعده بنسبة 67.3% في pass@1 و78.0% في pass@4.
• pass@1 يعني حل المهمة من المحاولة الأولى، وpass@4 يعني حلها في إحدى أربع محاولات.

حُلّت 95 مهمة مرة واحدة على الأقل بين كل النماذج، أي أن المهام قابلة للحل. ومع ذلك يفشل المتصدر في 19% من المجموعة في كل محاولة.

التكلفة

حقق ديب سيك V4.1 Flash (1017) نسبة 57.0% في pass@1 بتكلفة 0.04 دولار للمحاولة. وأضاف كلود أوبus 5.5 نحو عشر نقاط بتكلفة 1.83 دولار. وتقدّم جيميناي 4 أرغون قليلاً بتكلفة 3.92 دولار. وتشكل هذه النماذج الثلاثة أفضل موازنة بين السعر والنتيجة.

جرّبه بنفسك

كل مهمة قائمة بذاتها في إطار هاربور (Harbor)، مع بيئة دوكر وتعليمات ومدقق ثابت. ويستطيع هاربور تشغيل المجموعة كاملة من مستودع هاغينغ فيس مباشرة. المجموعة مقيّدة، فيجب قبول شروط الوصول أولاً. والمهام موسومة أيضاً للتعلم المعزز، فقد تقدّم مكافآت لتدريب وكلاء دفاعيين.

أما الحدود: النتائج صادرة عن مؤلفي الاختبار نفسه وتشمل 11 نموذجاً فقط. ونتائج المجموعة السرية غير منشورة، ويتطلب الاختبار عليها التواصل مع كوليير. ولا يبيّن المصدر كيف تنعكس هذه الدرجات على العمل الأمني اليومي.