GitHub Copilot حصل على coding محلي بالـAI على أجهزة Windows الجديدة

سوف يقرر GitHub Copilot قريبًا ما إذا كانت مهمة البرمجة ستعمل على الجهاز نفسه أم في السحابة، وتقول Microsoft إن الوضع المحلي يصل الآن إلى أجهزة Windows الجديدة.

التركيز هنا على أجهزة Windows المزودة بـ NVIDIA RTX Spark، مثل Surface Laptop Ultra. على هذه الأجهزة، يمكن لـ Copilot استخدام نماذج استدلال محلية بدل إرسال كل خطوة إلى خادم بعيد.

وتقول Microsoft إن النظام يستطيع أيضًا اختيار النموذج المحلي أو السحابي تلقائيًا حسب المهمة. ومع ذلك، يمكن للمطورين تجاوز ذلك واختيار نموذج محلي مباشرة عندما يريدون تحكمًا أدق.

النموذج المحلي هو MAI Code 1.1 Flash، وهو نموذج مخصص للبرمجة يضم 137 مليار معامل إجمالي و6.8 مليار معامل نشط. وتقول Microsoft إن نسخة الجهاز تستخدم quantization وspeculative decoding لتقليل الحجم وتسريع الاستجابة.

العقبة الكبرى هنا هي الذاكرة. على Surface Laptop Ultra، تقول Microsoft إن ذروة استخدام الذاكرة وصلت إلى 75.5GB عند 256k context، وإن معالجة prompt بلغت 923.5 tokens في الثانية عند 64k context و769.8 عند 128k.

وتقول الشركة أيضًا إن النسخة المحلية المضغوطة بحجم 53GB، أي أقل بنسبة 80% من نسخة Bfloat16 السحابية. ببساطة، هذه هي الفجوة بين شيء يركب في الجهاز وشيء يحتاج شاحنة.

كما يحصل Copilot على تنفيذ أدوات داخل sandbox عبر Microsoft Execution Containers، أو MXC. هذا يعني أن أوامر shell وبعض الخدمات المحلية يمكن أن تعمل بقيود أشد على الملفات والشبكات والاعتمادات والوصول إلى النظام.

وتقول Microsoft إن GitHub Copilot CLI وتطبيق Copilot وVS Code سيدعمون مسارين: إما Auto يقرر أين تُنفذ المهمة، أو اختيار نموذج محلي يدويًا. كما يمكن ربطه بنقاط نهاية محلية متوافقة مع OpenAI عندما تعرض النماذج هناك.

المثال الذي تذكره Microsoft هو لوحة يومية للمستودعات تقرأ المستودعات المحلية، وتشغل الاختبارات، وتنتج تقرير HTML مع إبقاء المستودعات الأصلية للقراءة فقط ومنع الشبكة عن الاختبارات. لكن المصدر لا يوضح مدى اتساع الإطلاق خارج أجهزة Windows المذكورة، ولا يغطي كل أنواع مهام البرمجة.