باحثون يختبرون 18 نموذج ذكاء اصطناعي في فهم النقاشات الاجتماعية المعقدة
يكشف معيار LongSocialBench الجديد أن نماذج الذكاء الاصطناعي الحالية تجد صعوبة في تتبع منطق الحوارات المتسلسلة.
قدمت ورقة بحثية جديدة معياراً يسمى LongSocialBench، يتضمن 1462 سؤالاً اختيارياً لقياس مدى قدرة نماذج الذكاء الاصطناعي ذات السياق الطويل على فهم خيوط النقاشات عبر الإنترنت. تتضمن المجموعة نقاشات من Reddit وHacker News وStack Exchange، حيث يصل طول بعض الحوارات إلى 73 ألف رمز.
لتحقيق أداء جيد، يجب على الذكاء الاصطناعي القيام بأكثر من مجرد قراءة النص. فهو يحتاج إلى تتبع كيفية رد المشاركين على بعضهم البعض، وتحديد نقاط تحول الحوار، والتمييز بين فروع النقاش المتعددة.
يظهر LongSocialBench أن القدرة المفقودة ليست الوصول إلى السياق أو التلقين وحدهما، بل الفهم الاجتماعي عبر أشجار الردود المنظمة.
اختبر الباحثون 18 نموذجاً مختلفاً للذكاء الاصطناعي باستخدام هذا المعيار. أظهرت النتائج فجوة واضحة بين أداء البشر والذكاء الاصطناعي. فقد حقق البشر نسبة 72.4% في هذه المهام، بينما بلغ متوسط النماذج 43.9% فقط.
حتى عندما تم تزويد النماذج بمساعدة إضافية عبر توجيهها نحو أجزاء النقاش ذات الصلة، ارتفع أداؤها إلى 55.0% فقط. يشير هذا إلى أن المشكلة لا تتعلق فقط بطول النص الذي يمكن للنموذج معالجته، بل بصعوبة جوهرية في فهم المنطق الاجتماعي.
حقق النموذج الأفضل أداءً، وهو Claude-Opus-4.7، دقة بلغت 63.0% عندما طُلب منه صراحة استبعاد الإجابات غير الصحيحة أولاً. ومع ذلك، لا يزال أفضل نموذج ذكاء اصطناعي يتأخر عن القراء البشر في التنقل داخل طبيعة التعليقات المتشعبة. إذا كانت هذه الأنظمة قادرة على معالجة وثائق ضخمة، فلماذا لا تزال تتعثر في سلسلة ردود بسيطة؟
المصدر: arXiv cs.CL