سبعة نماذج لغوية فشلت في فهم المنطق الأساسي للجمل الجمعية
كشفت دراسة حديثة أن نماذج الذكاء الاصطناعي الشهيرة غالباً ما تعجز عن فهم المواقف التي لا توصف بالصواب أو الخطأ، مما يؤدي إلى خطأ منطقي متكرر.
كشف تقييم حديث لسبعة نماذج لغوية مفتوحة الأوزان عن فجوة كبيرة في كيفية معالجتها للجمل الجمعية. فحصت الدراسة قدرة الذكاء الاصطناعي على التعامل مع العبارات اللغوية التي لا يمكن تصنيفها تقنياً كصحيحة أو خاطئة.
تخيل أن لديك مجموعة من الأطفال وضحك بعضهم فقط. إذا قلت ضحك الأطفال أو لم يضحك الأطفال، فإن كلتا العبارتين تكونان منطقياً مربكتين لأنهما لا تنطبقان على المجموعة بأكملها.
اكتسبت النماذج اللغوية مفتوحة الأوزان الحالية شروط الحقيقة الخاصة بالمسندات الجمعية، ولكن ليس منطقها ثلاثي القيم.
اختبر الباحثون النماذج باستخدام مجموعة بيانات تسمى HomogeneityNLI، والتي تتضمن 1000 مثال عبر ظروف منطقية متنوعة. ووجدوا أن هذه النماذج تعاني من انحياز قوي نحو النتائج الثنائية البسيطة.
عند مواجهة جمل حول مجموعات، غالباً ما يفرض الذكاء الاصطناعي تصنيفاً صائباً أو خاطئاً. وحتى عند استخدام تعليمات التفكير المتسلسل أو قواعد لغوية محددة، استمرت النماذج في الوقوع في هذا الخطأ الجامد.
في معظم الحالات، حكم الذكاء الاصطناعي بشكل غير صحيح على الجمل الجمعية المنفية بأنها خاطئة، حتى عندما لم يكن الموقف واضحاً. أدركت النماذج أن الجملة تتضمن فاعلاً جمعياً لكنها فشلت في تطبيق المنطق الدقيق المطلوب للتمييز بين أفعال المجموعة الجزئية والكلية.
لم تنجح أي من النماذج في التعرف على هذه الفجوات في القيم المنطقية في أكثر من 15% من السيناريوهات التي قدمت أثناء الاختبار.
هل يعني هذا العجز عن التعامل مع عدم اليقين أن منطق الذكاء الاصطناعي محدود جوهرياً ببيانات تدريبه؟ على الرغم من أن هذه النماذج أتقنت الهيكل السطحي للغة، إلا أنها لم تتقن بعد المنطق ثلاثي القيم الذي يستخدمه البشر للتعامل مع الغموض.
المصدر: arXiv cs.CL