باحثون وجدوا أن حكام الذكاء الاصطناعي يفشلون في قياس الأداء المهني بدقة

كشفت ورقة بحثية جديدة بعنوان O*NET-BENCH عن فجوة كبيرة بين كيفية تقييم الذكاء الاصطناعي لمهام العمل وكيفية تقييم العمال البشر لها في الواقع. اختبرت الدراسة 33 تكويناً مختلفاً لنماذج الذكاء الاصطناعي عبر ست عائلات من النماذج باستخدام 4501 تقييم حقيقي من عمال.

في حين أن العديد من نماذج الذكاء الاصطناعي بارعة في ترتيب المهام بالترتيب الصحيح، إلا أن هذه القدرة لا تعني اتفاقها مع البشر حول ما إذا كانت مخرجات العمل مقبولة. قدرت نماذج الذكاء الاصطناعي معدلات القبول بنسب تتراوح بين 3% إلى قرابة 98%، في حين قيم العمال البشر حوالي 61% من المهام كأعمال مقبولة.

تخيل أنك طلبت من مساعد رقمي تقييم ما إذا كان تقرير أولي مهنياً بما يكفي لتقديمه لعميل. قد ينجح الذكاء الاصطناعي في ترتيبه كأفضل من مسودة سيئة، لكنه قد يمتلك معياراً مختلفاً تماماً عما يعتبره الموظف البشري مقبولاً.

اكتشف الباحثون أنه حتى بعد معايرة النماذج لإزالة الانحياز، لم تفسر درجات الذكاء الاصطناعي أكثر من 9% من التباين في التقييمات البشرية الفردية. كما أن الأساليب الإحصائية البسيطة، مثل مقارنة النصوص التقليدية، حققت نتائج قاربت ما وصلت إليه النماذج المتقدمة في توقع تلك الترتيبات.

هل يمكننا الاعتماد على الذكاء الاصطناعي لقياس إنتاجية البشر في المكتب بموضوعية إذا كانت معاييره للجودة منفصلة تماماً عن معاييرنا البشرية؟

تقتصر الدراسة على مجموعة بيانات O*NET-BENCH المستمدة من 45796 تقييم عمال. ولا تثبت الدراسة أن نماذج الذكاء الاصطناعي غير قادرة على التحسن، بل تكتفي بالقول إن أساليب التقييم الحالية القائمة على الترتيب لا تكفي لتوقع مستويات القبول البشرية في بيئات العمل المهنية.