أداة جديدة تكشف عن 138 حالة من أصل 139 حيث نسب وكلاء الذكاء الاصطناعي المعلومات إلى مصادر خاطئة

الخطأ الصامت في إجابات الذكاء الاصطناعي

تخيل أن مساعد الذكاء الاصطناعي يخبرك بوجود سياسة استرداد أموال، لكنه يستخرج هذه المعلومة من وثيقة عامة بدلاً من سجل حسابك المحدد. المعلومة صحيحة، لكن المصدر خاطئ. هذا خطأ دقيق غالباً ما تفوّت أنظمة التحقق من الحقائق التقليدية لأنه ينظر فقط إلى وجود المعلومات في مكان ما ضمن مجموعة البيانات.

تقديم ProvenanceGuard

أطلقت شركة Multiverse Computing طبقة تحقق جديدة تسمى ProvenanceGuard. تعمل هذه الأداة فوق وكلاء الذكاء الاصطناعي الذين يستخدمون بروتوكول سياق النموذج (MCP) لاستدعاء أدوات مختلفة. لا تتحقق الأداة فقط من صحة الادعاء، بل من نسبة الوكيل له إلى مخرج الأداة الصحيح.

كيف تعمل الأداة

tread الأداة تتتبع مسار الوكيل، والذي يتضمن المخرجات المحددة لكل أداة تم استدعاؤها. تقسم الإجابة النهائية إلى ادعاءات فردية. لكل ادعاء، تحدد المصدر الأكثر صلة وتتحقق من دعمه للتصريح. إذا أشارت الإجابة إلى مصدر مختلف، ترفع الأداة راية تنبيه.

نتائج الاختبار في المجال الطبي

اختبر الفريق هذه الأداة على وكيل طبي يستخدم سجلات المرضى والمقالات البحثية. حللوا 281 مساراً حقيقياً. راجع خبراء بشريون 361 ادعاءً من 40 إجابة. حددوا 139 ادعاءً كان يجب حظرها بسبب النسبة الخاطئة. رصدت ProvenanceGuard 138 منها، ودعت ادعاءً واحداً فقط.

نهج حذر

صُممت الأداة لتكون متحفظة. احتفظت بـ 67 ادعاءً اعتبرها الخبراء مدعومة، وأرسلتها للمراجعة. هذا التفضيل للنظر الثاني بدلاً من الإجابة السريعة يناسب المجالات الحساسة مثل الرعاية الصحية، حيث يمكن أن يكون المصدر الخاطئ ضاراً مثل المعلومة الخاطئة.

التعامل مع المصادر المتشابهة

في اختبار أصعب بمصادر متشابهة، حددت الأداة المصدر الدقيق في 50.3% من الادعاءات. حصلت على درجة 0.846 F1 في تحديد الادعاءات التي يجب حظرها. بينما رصدت جميع الحالات الـ 50 حيث تم تبديل المصدر بوضوح، يبقى التمييز بين المصادر المتشابهة جداً تحدياً.

إصلاح الإجابات المحظورة

tread عند حظر إجابة، يمكن للنظام محاولة إصلاحها. في إحدى التشغيلات، حلت جميع الإجابات الـ 173 المحظورة. ومع ذلك، انتهت 144 منها بنص احتياطي بدلاً من إعادة كتابة جوهرية. يعني هذا أن النظام اختار تجنب إجابة غير قابلة للتحقق بدلاً من اختراع واحدة.

العبء العملي

تضيف عملية التحقق تأخيراً معقولاً. في الإعداد المحلي المستخدم للاختبار، تستغرق العملية حوالي نصف ثانية لكل إجابة. تعمل الفحوصات الأساسية في عشرات الميلي ثانية، مما يجعلها قابلة للتطبيق في التطبيقات الفورية.

لماذا يهم هذا الفرق

للفرق التي تبني وكلاء يستخدمون أدوات متعددة، هذا التمييز حاسم. يجب أن تعني الإجابة "المؤسّسة" أنها مدعومة بالمصدر المحدد بالاسم، وليس بأي مخرج أداة. هذا يمنع الخلط بين المصادر، حيث تُنسب معلومة من أداة واحدة بشكل خاطئ إلى أخرى.

القيود والخطوات التالية

يستخدم الإعداد الحالي نماذج محلية للاختبار المنضبط. بينما يمكن تكييف النهج لخدمات السحابة، فإنه يحتاج إلى معايرة خاصة. لا تتعامل الأداة بعد مع دقة اختيار المصادر المتشابهة جداً بدقة عالية، وهو مجال يتبقى فيه مجال للتحسين.

هل تتحقق تقييماتك الحالية من الأداة المحددة التي وفرت معلومة، أم فقط من وجود المعلومة في مكان ما؟