باحثون يرسمون خرائط لكيفية فهم نماذج الرؤية الحاسوبية للمفاهيم المجردة

درس باحثون مؤخراً كيف تفسر نماذج الرؤية الحاسوبية، وتحديداً نماذج Vision Transformers، مفاهيم مجردة مثل الغضب. غالباً ما تفتقر هذه النماذج إلى تسميات مباشرة للمشاعر عند معالجة الصور، لذا اقترحت الورقة البحثية أنها تستخدم نظاماً من الاتصالات الوسيطة يُعرف باسم الدوائر المجازية.

تخيل كيف يفهم الإنسان مفهوم الدفء من خلال رؤية مدفأة. يقوم النموذج بربط المشاعر المجردة بأشياء ملموسة، مثل النار، التي تعمل كمرساة للمعنى الدلالي. ومن خلال استخدام أدوات مثل Transcoders على نماذج CLIP و DINO، تتبع الفريق كيفية انتقال هذه الإشارات البصرية عبر الشبكة.

• تركز الطبقات المبكرة على اللبنات البصرية الأساسية.
• تربط الطبقات المتوسطة هذه الإشارات بمرتكزات أشياء محددة.
• تعمل الطبقات النهائية على ترسيخ التفسير المجرد.

يساعد هذا الهيكل الذكاء الاصطناعي على سد الفجوة بين وحدات البكسل والمفاهيم البشرية المعقدة. ومن المثير للاهتمام أن الباحثين وجدوا أن الصور التي تحتوي على نصوص مكتوبة تتبع مساراً مختلفاً تماماً، حيث تستخدم مساراً متخصصاً لمعالجة المعلومات النصية بدلاً من الاعتماد على مرتكزات الأشياء.

هل يمكن أن يساعدنا هذا التخطيط في بناء أدوات ذكاء اصطناعي أكثر بديهية؟ تؤكد الدراسة أن هذه الخطوات الوسيطة ضرورية لعمل النموذج، لكنها لا تدعي أنها تحاكي الإدراك البشري بالكامل. تعتمد هذه النتائج على مجموعات بيانات ونماذج محددة مثل CLIP و DINO، وقد لا تنطبق بالضرورة على جميع أنواع بنى الرؤية الحاسوبية.