GeoSpatialBench كشف فجوة واضحة في استدلال الذكاء الاصطناعي المكاني
اختبر المعيار 28 علاقة مكانية عبر 6 مدن، ووجد أن GeoJSON تفوق على صور الخرائط، خاصة في المهام القياسية.
اختبر GeoSpatialBench كيف يتعامل الذكاء الاصطناعي متعدد الوسائط مع المكان، لا كيف يجيب فقط عن الأسئلة. ويقيس الفهم والاستدلال والتعديل المكاني المقيد عبر مشاهد حضرية حقيقية.
يغطي المعيار 28 علاقة مكانية، تشمل العلاقات الطوبولوجية والاتجاهية والقياسية وعلاقات الترتيب. والبيانات مأخوذة من 6 مدن مختلفة جغرافيًا.
النتيجة الأوضح هي وجود فجوة بين التعرف السلبي والتعديل الفعلي.
يعتمد الاختبار على نوعين من الإدخال: GeoJSON المنظم وصور الخرائط. كما تم التحقق من الإجابات الصحيحة والقيود باستخدام عمليات GIS، وهي أدوات للتعامل مع البيانات الجغرافية.
النتيجة الأوضح هي وجود فجوة بين التعرف السلبي والتعديل الفعلي. كانت النماذج أفضل في رصد بعض العلاقات من قدرتها على تغيير التخطيطات مع الالتزام بالقواعد.
تفوق GeoJSON باستمرار على صور الخرائط. ولم يقدّم الجمع بينهما أفضلية موثوقة على GeoJSON وحده.
أدت النماذج بشكل معقول في العلاقات الطوبولوجية وعلاقات الترتيب النوعية، لكن الأداء انخفض في العلاقات القياسية الكمية. وبمعنى بسيط، كانت المسافة والقياس أصعب من أحكام مثل يمين-يسار أو داخل-خارج.
كان التعديل أصعب من الإجابة عن الأسئلة. وفي مهام الترتيب، هبط الأداء عندما طُلب من النموذج إجراء تغيير بدل اختيار إجابة فقط.
معظم التعديلات الفاشلة انتهكت واحدًا على الأقل من القيود المكانية. وهذا هو الاختبار الحقيقي هنا: هل يمكن للنموذج أن يحرك العناصر من دون كسر القواعد؟
GeoSpatialBench معيار مفتوح صُمم لكشف هذه الحدود بطريقة دقيقة. ولا يثبت هذا الملخص أن النماذج تجيد تعديل الخرائط بالفعل، كما لا يذكر كل الدرجات أو كل النماذج بالاسم.
المصدر: arXiv cs.AI