17 نموذجاً لغوياً كبيراً أخفقت في اختبار العلاقات الدلالية للكلمات

كشفت دراسة جديدة أن نماذج الذكاء الاصطناعي الكبيرة تتعثر بشكل متكرر عند مطالبتها بفهم كيفية ارتباط الكلمات ببعضها البعض. اختبر الباحثون 17 نظاماً مختلفاً باستخدام مجموعة بيانات تضم 3069 زوجاً من المعاني بخمس لغات، هي الإنجليزية واليونانية والرومانية والتركية واليابانية.

في هذه المهمة، كان على الذكاء الاصطناعي التنبؤ بالعلاقة بين تعريفين مختلفين للكلمات. قام الفريق بتبديل ترتيب هذه التعريفات لمعرفة ما إذا كانت النماذج تحافظ على اتساق منطقها.

تخيل أنك عرفت كلمة 'قط' بأنها 'سنور' وعرفت 'السنور' بأنه 'قط'. يجب أن يفهم الذكاء الاصطناعي هذه الروابط منطقياً بنفس القدر في كلا الاتجاهين، ولكن نادراً ما حدث ذلك.

تُسلط النتائج الضوء على فجوات كبيرة في كيفية معالجة هذه النماذج لبنى اللغة البشرية الأساسية. نجحت بضعة نماذج فقط في التفوق على التخمين العشوائي، بغض النظر عما إذا تم تزويدها بصفر أو خمسة أمثلة للتعلم منها.

على وجه التحديد، عانت الأنظمة في فهم علاقات التضمين، وهي العلاقة بين مصطلح عام وآخر محدد. كما واجهت صعوبة في تحديد علاقة الكل بالجزء.

فشلت العديد من النماذج في إدراك أنه إذا كانت العلاقة موجودة في اتجاه واحد، فيجب أن تتبع منطقياً قاعدة معينة في الاتجاه المعاكس. هل تفاجئك حقيقة أن النماذج التي تكتب ببراعة لا تزال تخفق في حل هذه الألغاز المنطقية الأساسية؟

لم تغطِ الدراسة كل اللغات أو كل النماذج الموجودة، مما يعني أن هذه النتائج قد لا تنطبق على جميع الإصدارات المستقبلية. ركز الباحثون تحديداً على الاتساق والدقة، تاركين مجالاً للتحسين في كيفية تمثيل نماذج الذكاء الاصطناعي للمعرفة الدلالية.