اختبرت Microsoft أداء الوكلاء الرقميين في 507 مهام واكتشفت أخطاء متكررة داخل قواعد البيانات

أتاحت شركة Microsoft إطار عمل جديداً باسم ThinkingBox عبر منصة Hugging Face، يهدف إلى تقييم أداء الوكلاء الرقميين بناءً على ما يجرونه من تعديلات فعلية في قواعد البيانات، بدلاً من الاكتفاء بفحص نصوص إجاباتهم.

تعتمد المعايير التقليدية عادة على التحقق من سلامة الأوامر البرمجية التي يرسلها النموذج وردوده اللغوية. أما أداة الاختبار الجديدة، فتذهب مباشرة إلى السجلات الخلفية لترى إن كانت البيانات قد عُدّلت بالشكل الصحيح بعد انتهاء المهمة.

أظهرت النتائج أن الأسلوب المهذب يخفي أحياناً أخطاء فادحة. فخلال دراسة شملت 12 نموذج ذكاء اصطناعي عبر 507 مهام عمل واقعية، درس الباحثون قرابة 80,000 محاولة فاشلة. وفي أكثر من 67% من تلك الحالات، أنهى الوكيل مهمته بهدوء تام ودون أي تنبيه بوجود عطل، ورغم ذلك كشفت السجلات وجود قيم خاطئة في أكثر من 77% من المحاولات الفاشلة، وتعديلات إضافية غير مرغوبة في 43% منها.

تبيّن أيضاً أن النجاح في تنفيذ أمر ما لمرة واحدة لا يعني ضمان دقته دائماً؛ إذ جرى تكرار كل مهمة 20 مرة مستقلة. وتمكن نموذج Kimi-K3 من إنجاز نحو 94% من المهام لمرة واحدة على الأقل، لكنه لم يحقق النجاح الكامل في جميع الجولات العشرين سوى بنسبة 13.41%. وفي المقابل، نجح Claude Opus 5 في حسم 47.53% من المهام دون خطأ واحد على امتداد المحاولات العشرين.

تنعكس مسألة الاستقرار هذه بشكل مباشر على التكاليف المالية. فقد سجّل GPT-5.6 Sol أقل تكلفة للمحاولة الناجحة المنفردة بنحو 0.127 دولار، لكن ضمان تكرار المهمة 20 مرة بنجاح رفع تكلفة المهمة الموثوقة إلى 9.76 دولار. وحقق GPT-5.4 الاستقرار الكامل في 128 مهمة بتكلفة 6.80 دولار للمهمة، بينما بلغ GPT-6-Astra الاستقرار في 231 مهمة بتكلفة 7.45 دولار لكل مهمة.

أرجعت النتائج نحو 80% من الإخفاقات إلى سوء التعامل مع الأدوات والعجز عن تدارك الأخطاء التقنية الطارئة، لا إلى ضعف في الاستنتاج المنطقي. فالوكيل غالباً ما يتوقف عند مواجهة نتيجة بحث فارغة، ثم يغلق الملف بابتسامة افتراضية معلناً انتهاء العمل بنجاح.

هل تقبل الاعتماد على وكيل آلي لإدارة تعويضات العملاء إذا كان يسجل بيانات خاطئة في أنظمتك مرة كل خمس محاولات؟

تقتصر مهام الاختبار الحالية على مجالات أعمال محددة؛ إذ سجلت مهام التأمين على السيارات معدل نجاح منخفضاً قارب 34%، مقارنة بنحو 60% في قطاع التجزئة. كما أوضحت Microsoft أنها لم تقِس بعد مدى التحسن الذي يمكن تحقيقه عند إدخال مراجعات بشرية أو آليات متقدمة لإعادة المحاولة في بيئات العمل الحقيقية.