ToolRACER تدرب وكلاء الذكاء الاصطناعي على التعامل مع المحادثات الواقعية المزعجة

غالباً ما يفشل وكلاء الذكاء الاصطناعي الموجهون للمهام عندما تخرج المحادثات عن مسارها المعتاد أو يتصرف المستخدمون بطرق غير متوقعة. يعالج مشروع جديد يسمى ToolRACER هذه المشكلة من خلال إنشاء مجموعة ضخمة من بيانات التدريب الاصطناعية المصممة لاختبار مرونة هذه الأنظمة.

قام المطورون بإنشاء مسار برمجيات يحاكي التفاعلات بين المستخدم والمساعد ومجموعة من الأدوات البرمجية. ومن خلال تنسيق هذه النماذج، تم توليد 5600 مسار محادثة مختلف عبر ستة مجالات. وتتضمن حوالي 66% من هذه السيناريوهات مواجهة الوكيل لسلوكيات صعبة أو عدائية.

لضمان الجودة، صمم الفريق ToolRACERBench. يشتمل هذا المقياس على 55 شخصية مختلفة، مما يجبر الذكاء الاصطناعي على الحفاظ على دقة استدعاء الوظائف حتى عندما يكون المستخدم غير متعاون.

أظهرت النماذج التي تم تدريبها باستخدام مجموعة البيانات الجديدة تحسناً في الأداء على مقاييس قياسية مثل tau-squared-bench وACEBench. يشير هذا إلى أن تعريض الوكلاء للفوضى أثناء التدريب يساعدهم على البقاء في المسار الصحيح أثناء الاستخدام الفعلي.

تخيل أنك تستخدم روبوت وكيل سفر وقمت فجأة بتغيير رأيك أو قدمت معلومات متضاربة؛ يجب أن يتعامل الوكيل المرن مع ذلك دون أن ينهار. توفر ToolRACER البيانات اللازمة لتعليم النماذج كيفية التكيف تحت الضغط.

على الرغم من أن هذا النهج يحسن الدقة، إلا أن المقياس يقتصر على المجالات الستة التي تغطيها المجموعة الأولية. فهو لا يأخذ في الاعتبار كل الفروق الدقيقة الممكنة لنوايا البشر أو مهام العمل المعقدة الخاصة بقطاعات معينة والتي لم يتم تضمينها في الدراسة.