Microsoft بنت ثلاث شركات وهمية لاختبار Copilot، وارتفعت درجات الجودة 39%

بنت Microsoft شركات وهمية كاملة، بموظفين ورسائل بريد واجتماعات، لتختبر بها أداء Copilot. وتشرح الطريقة في مقال على مدونتها البحثية.

المشكلة

يساعد Copilot الناس على كتابة المستندات وتلخيص الاجتماعات والعثور على المعلومات. ولاختباره جيدًا يلزم بيانات تشبه مؤسسة حقيقية. لكن بيانات الشركات الحقيقية مليئة بالتفاصيل الخاصة، ولا يمكن استخدامها في الاختبار.

الحل

سمّت Microsoft نظامها Industry Evaluation Data Generation Platform. وهو ينشئ أماكن عمل كاملة محاكاة تسمى tenants. الـ tenant بيئة مؤسسية معزولة لها مستخدموها وبياناتها وإعداداتها.

بُنيت ثلاث بيئات:

• شركة أدوية، فيها طلبات تنظيمية ونقاشات تجارب سريرية.
• شركة أسواق مال، فيها صفقات ومراسلات امتثال.
• شركة تقنية وبرمجيات، فيها تخطيط سباقات العمل وإطلاق المنتجات.

في كل بيئة مئات المستخدمين وسجلات تواصل كاملة.

من أين يأتي الواقع

تستند الشركات الوهمية إلى مصادر عامة. قاعدة O*NET التابعة لوزارة العمل الأمريكية حددت الأدوار والمهام اليومية. وإعلانات الوظائف قدمت المسميات وتسلسل الإدارة. وملفات SEC أرشدت إلى حجم الشركة وهيكلها. وتقول Microsoft إن فريقيها القانوني والسياسي وافقا على كل هذه المصادر.

والشركات تتغير مع الوقت: سلاسل البريد تنمو على أسابيع، والفرق يعاد تنظيمها. وهذا مهم لأن الناس يسألون مثل: ما الذي تغيّر منذ المراجعة الفصلية الأخيرة؟

أسئلة تلقائية

يكتب خط إنتاج من ست مراحل أسئلة الاختبار. يبدأ بمهام عمل شائعة، ويكيّفها مع القطاع، ويربطها ببيانات الشركة الوهمية، ويعيد صياغتها بأسلوب بشري، ثم يتحقق من دقة كل سؤال وتفرّده.

الأرقام

تذكر Microsoft ارتفاع درجة الجودة المركبة 39% مقارنة بأسلوبها الأول. وتجاوزت بعض البيئات 0.9 من 1.0. وتقدّر التوفير بنحو 100 ألف دولار لكل مجموعة بيانات و300 ألف دولار للمشروع. وتشغيل الإعدادات نفسها يعطي نتائج مطابقة. وأصبحت هذه المجموعات أول خط أساس معياري لتقييم Copilot.

تخيل أنك تختبر ملخِّص اجتماعات: تريد الامتحان العادل نفسه في كل إصدار. هذا ما يوفره النظام.

الحدود

الأرقام من Microsoft نفسها، وقيست بنظام تقييم داخلي. ولا يعرض المصدر نتائج Copilot في هذه الاختبارات، ولا تغطي التجربة سوى ثلاثة قطاعات حتى الآن.