باحثون يبسطون آلية تتبع المواقع في نماذج الذكاء الاصطناعي لتحسين أدائها

تواجه نماذج اللغات الكبيرة غالباً صعوبة في فهم الوثائق الطويلة. حلل فريق من الباحثين مؤخراً هذا الأمر ووجدوا خللاً في كيفية تتبع هذه الأنظمة لمواقع الكلمات. نُشرت نتائجهم في ورقة بحثية جديدة.

تستخدم معظم أنظمة الذكاء الاصطناعي الحديثة تقنية تسمى Rotary Position Embedding، أو اختصاراً RoPE. تساعد هذه التقنية النموذج على تذكر موقع كل كلمة في الجملة عبر تدوير المتجهات. اكتشف الفريق أن هذا الدوران يتكرر، مما يسبب ارتباكاً للنموذج.

يطلق الباحثون على هذه الظاهرة اسم تداخل المواقع (position aliasing). يشبه الأمر ساعة تعيد ضبط نفسها كل 12 ساعة؛ إذا نظرت إلى العقارب فقط، لن تعرف ما إذا كان الوقت ظهراً أم منتصف الليل. يواجه النموذج ارتباكاً مشابهاً عند معالجة نصوص طويلة.

لحل هذه المشكلة، قدم الباحثون طريقة تسمى WavePrune. وهي تقيد النموذج بالدورة الأولى فقط من الدوران، وهو أمر غالباً ما يكون كافياً لفهم ترتيب الجمل.

أدى هذا التغيير البسيط إلى نتائج أفضل عبر اختبارات متعددة. على سبيل المثال، سجل نموذج Qwen3-8B قفزة ملحوظة في تقييم HELMET الخاص به، مرتفعاً من 35.7 إلى 40.0.

إلى جانب الدقة، تعمل هذه الطريقة على تحسين السرعة. من خلال تبسيط الحسابات، صمم الفريق برمجيات مخصصة تجعل النماذج تعمل بسرعة أكبر بنسبة تصل إلى 1.24 مرة أثناء فك التشفير مقارنة بأدوات قياسية مثل FlashAttention-2.

هل تساءلت يوماً لماذا ينسى الذكاء الاصطناعي أحياناً بداية المحادثة عندما تقدم الكثير من المعلومات؟

من المهم ملاحظة أن هذا البحث ركز تحديداً على تقنية RoPE. لم تختبر الدراسة كل البنى الممكنة، وقد تختلف مكاسب الأداء بناءً على تصميم النموذج المحدد والأجهزة المستخدمة.