Microsoft تطلق أداة جديدة لاختبار وتصحيح مخاطر وكلاء AI تلقائياً
تكتشف أداة run-assert-eval ثغرات الوكلاء وتنشئ سياسات حماية وتتحقق من فاعلية الإصلاحات تلقائياً.
أطلقت Microsoft أداة جديدة باسم run-assert-eval لمساعدة المطورين على تأمين وكلاء AI دون الحاجة لتدخل يدوي مستمر. تقوم هذه الأداة بأتمتة عملية اكتشاف نقاط الضعف، وإنشاء سياسات دفاعية، والتأكد من نجاح هذه الحمايات في سد الثغرات.
كان بناء وكلاء آمنين يتطلب سابقاً عملاً يدوياً شاقاً من المطورين، إذ كان عليهم تحديد أخطاء الوكيل، وكتابة قواعد خاصة، وإعادة الاختبار يدوياً. تُبسط هذه الأداة العمل عبر ربط أدوات مثل Clarity وASSERT وAgent Control Specification في مسار عمل واحد.
نقدم اليوم run-assert-eval، وهي مهارة تكتشف المخاطر التي تهم وكيلاً معيناً وتقيس مدى تكرار فشل هذا الوكيل.
كيف تعمل الأداة
- الاكتشاف: تقوم الأداة بفحص الوكيل لتحديد المخاطر المحتملة باستخدام Clarity.
- التقييم: تستخدم ASSERT لقياس مدى تكرار فشل الوكيل في سيناريوهات معينة.
- التصحيح: تُنشئ الأداة تلقائياً سياسة Agent Control Specification لمنع الثغرات المكتشفة.
- التحقق: تُعيد الأداة اختبار الوكيل لضمان زيادة الأمان دون التأثير على كفاءته في تقديم المساعدة.
في إحدى التجارب، تسبب وكيل دعم فواتير في تسريب بيانات عملاء في 30% من المحادثات التجريبية. وبعد تطبيق الضوابط التلقائية، انخفض معدل الخطأ إلى أقل من 6%.
تعتمد الأداة على أبحاث ومعايير الصناعة لتعريف ما يشكل فشلاً في الأداء. ومن خلال استخدام نفس مجموعة الاختبارات لكل من النسخة الأصلية والمُصححة، يحصل المطورون على دليل ملموس حول فاعلية التغييرات التي أجروها.
تتطلب هذه العملية من المطور اختيار المخاطر التي يجب إعطاؤها الأولوية بعد أن تحددها الأداة. ولا تُغني الأداة عن التقييم البشري لمتطلبات العمل النهائية. تقتصر الإمكانيات الحالية على أطر العمل والسياسات المحددة داخل النظام، وقد تختلف النتائج بناءً على تعقيد المهمة المطلوبة من الوكيل.
المصدر: Microsoft Source