إطار العمل PAIR يرفع معدلات نجاح الروبوتات في أداء المهام بنسبة تصل إلى 13.6 بالمئة
طريقة جديدة تربط بين كيفية إدراك الروبوتات للتعليمات البصرية وبين الأفعال التي تنفذها لإتمام المهام الجسدية.
تسمح نماذج Vision-language-action (VLA) للروبوتات برؤية محيطها واتباع التعليمات المنطوقة أو المكتوبة. ومع ذلك، غالباً ما تجد هذه الأنظمة صعوبة في تحويل ما تراه إلى حركات جسدية دقيقة. يساعد أسلوب جديد يسمى PAIR في سد هذه الفجوة من خلال إنشاء مساحة مشتركة للإدراك والحركة.
تعالج معظم الروبوتات حالياً الرؤية واللغة بشكل منفصل عن تحركاتها الجسدية. فهي تحاول تخمين الحركة الأفضل بعد تحليل المشهد. يغير PAIR هذا من خلال تقديم جسر يربط البيانات البصرية مباشرة بهيكل حركات الروبوت الخبيرة.
تدعم هذه النتائج استخدام تمثيل وسيط مشترك كواجهة مفيدة بين الإدراك والفعل في نماذج VLA ذات الحركة المستمرة.
أثناء التدريب، يستخدم النظام تقنية Masked Action Autoencoder للتعلم من تجارب الخبراء، حيث يقوم بتحويل هذه الحركات إلى رموز محددة. ثم تقوم وحدة الجسر باستخراج المعلومات ذات الصلة مما يراه الروبوت وربطها بهذه الرموز الجاهزة للتنفيذ.
تخيل أنك طلبت من روبوت ترتيب مكعبات على طاولة. بدلاً من محاولة حساب الحركة النهائية في اللحظة الأخيرة فقط، يستخدم الروبوت رموز الجسر لفهم تسلسل الحركات اللازمة للإمساك بالمكعبات ووضعها بشكل فعال.
أظهرت الاختبارات على أنظمة مختلفة مثل OpenVLA-OFT و VLA-Adapter تحسينات كبيرة في الأداء عبر بيئات متنوعة. ففي اختبار LIBERO-Plus، ارتفع معدل النجاح من 59.1 بالمئة إلى 64.2 بالمئة. وفي المهام الواقعية، ارتفع معدل نجاح OpenVLA-OFT من 51.4 بالمئة إلى 65.0 بالمئة.
هل يعني هذا أن الروبوتات ستتوقف أخيراً عن إسقاط الأدوات المنزلية؟ إنها خطوة واعدة نحو الاتساق، لكن الباحثين يشيرون إلى أن PAIR يعتمد حالياً على وجود بيانات تدريب خبيرة عالية الجودة ليعمل بشكل صحيح. تم اختبار إطار العمل فقط على مقاييس أداء محددة مثل CALVIN و LIBERO، مما يعني أن أداءه في بيئات منزلية غير متوقعة ومليئة بالفوضى لا يزال بحاجة إلى مزيد من الدراسة.
المصدر: arXiv cs.AI