باحثون يكتشفون أن أدوات الذكاء الاصطناعي تغفل أدلة طبية هامة
دراسة تقييمية لخمس منصات ذكاء اصطناعي كشفت عن فشلها في استرجاع أدلة سريرية دقيقة في ما يصل إلى 80 بالمائة من الاستفسارات.
نشرت دورية npj Digital Medicine دراسة حديثة حللت مدى فعالية أدوات الذكاء الاصطناعي في العثور على الأبحاث الطبية. قام باحثون من جامعة فلوريدا باختبار خمس منصات مختلفة وهي: Consensus وAi2 Paper Finder وChatGPT وGemini وClaude.
صمم الفريق 15 استفساراً طبياً دقيقاً لمعرفة ما إذا كانت هذه الأدوات قادرة على استخراج الأدلة الصحيحة من مجموعة وثائق محكومة. واكتشفوا أن هذه الأنظمة تعاني غالباً من فجوات واضحة في الوصول إلى البيانات.
لم يتم العثور على 12 بالمائة من الأدلة نهائياً بواسطة أي منصة، وكانت نسبة الإخفاق أعلى بكثير في وقائع المؤتمرات مقارنة بالمقالات العلمية.
أظهرت النتائج أن الأدوات لا تعثر دائماً على المعلومات الأكثر أهمية. اعتماداً على المنصة المستخدمة، تراوحت احتمالية عدم الحصول على أي نتائج مفيدة لاستفسار معين ما بين 47 بالمائة و80 بالمائة.
كما تباين أداء الاسترجاع بناءً على نوع الوثيقة. وأشارت الدراسة إلى أن 12 بالمائة من الأدلة لم يتم العثور عليها نهائياً بواسطة أي من المنصات المختبرة. كانت وقائع المؤتمرات أصعب بكثير في تحديد مكانها مقارنة بالمقالات العلمية المنشورة في المجلات المحكمة.
- اختبرت الدراسة 15 نمطاً مختلفاً من الاستفسارات.
- أظهرت إحدى المنصات فجوة واضحة في استرجاع الأدلة التي تعود لما قبل عام 2016.
- كانت معدلات النجاح الإجمالية في سحب أدلة ذات صلة منخفضة نسبياً.
تشير هذه النتائج إلى أن الاعتماد الكلي على أدوات الذكاء الاصطناعي في اتخاذ القرارات السريرية يحمل مخاطر. إذا كانت الأداة لا تستطيع العثور على الأبحاث الموجودة بشكل موثوق، فإلى أي مدى يمكننا الوثوق بملخصاتها للنتائج الطبية؟
لم تقم الدراسة بتقييم ما إذا كانت هذه المنصات قد تقدم معلومات غير دقيقة أو مختلقة عند عثورها على البيانات. كما ركز البحث على مجموعة محددة من الاستفسارات الاختبارية، لذا قد يختلف الأداء مع أنواع أخرى من الأسئلة الطبية أو مجموعات بيانات أوسع.
في هذه القصة
المصدر: npj Digital Medicine