OpenAI تراقب نماذجها المتقدمة على طبقات لكشف سلوك الوكلاء غير المصرح به مبكرًا

وصفت OpenAI كيف تراقب نماذجها الأكثر تقدمًا بحثًا عن انحراف في أهدافها، وعن تصرفات وكلاء لم يوافق عليها أحد. مصدر ذلك منشور على موقعها الرسمي.

ما معنى الانحراف؟

الانحراف يعني أن النموذج يفعل شيئًا مختلفًا عمّا قصده مطوروه ومستخدموه. أما الوكيل فهو نظام ذكاء اصطناعي ينفذ إجراءات بنفسه، ولا يكتفي بالإجابة عن الأسئلة.

الأسلوب: طبقات

يقول المصدر إن OpenAI تستخدم مراقبة متعددة الطبقات. لا يُعتمد على فحص واحد ليكشف كل شيء. بل تتراكم عدة فحوصات فوق بعضها.

تخيّل مبنى فيه قفل وكاميرا وحارس ليلي. لو تعطل واحد منها، يبقى للآخرين فرصة لملاحظة الخطر.

لماذا يهم الوكلاء؟

يذكر المصدر هدفين: انحراف النماذج الحدودية، وسلوك الوكلاء غير المصرح به. النماذج الحدودية هي أقوى الأنظمة التي ينتجها المختبر. وكلما زادت حرية الوكلاء في التنفيذ، صارت مراقبة ما يفعلونه فعلًا جزءًا من العمل.

الإنسان في الحلقة

الهدف المعلن أن يتدخل المختصون قبل أن تتفاقم الحوادث. المقصود إنذار مبكر، حتى يتحرك الناس والمشكلة ما زالت صغيرة.

فهل سيلاحظ أي مختبر يشغّل وكلاء أن أحدهم خرج عن الخط؟

الحدود

لا يعطي المقتطف تفاصيل عن الأدوات المستخدمة، ولا عدد الحوادث المكتشفة، ولا مدى نجاح المراقبة. ولا يذكر عدد الطبقات ولا ما يفعله المختصون. لذلك يقتصر هذا الخبر على الأسلوب المعلن وهدفه.