olmOCR 2 خفّض أخطاء نسخ سجلات الفخار من 15.58% إلى 1.11% بعد تدريب على 57 سجلاً

olmOCR 2 نموذج مفتوح من Ai2 يقرأ النص من صور المستندات. يُستخدم الآن في مشروعين للأرشيف، كما تصفهما Ai2 في مدونتها. الأول يخص الخصوصية، والثاني يخص الدقة.

مؤرخ يُبقي أرشيفه في بيته

يدرس Maurice Casey السياسة الراديكالية في أوروبا مطلع القرن العشرين. مصادره بالإنجليزية والروسية والألمانية. لديه آلاف الصور لرسائل وصحف وسجلات، التقطها بهواتف مختلفة وفي ظروف متباينة.

أراد البحث فيها بالكلمات المفتاحية. لكنه لم يرد رفع مواد ائتمنته عليها أرشيفات وعائلات إلى خدمة خارجية.

لذلك بنى ArtificeOCR. يربط الأداة بنماذج تعمل محلياً مثل olmOCR 2، وبتطبيق Tropy مفتوح المصدر الذي ينظم به صور الأرشيف. صارت مكتبته قابلة للبحث، وبقيت ملاحظاته المدخلة منذ 2019 كما هي.

يقول Casey إن النموذج يتعامل مع تخطيطات الصفحات المتنوعة، ومنها النماذج الموحدة في أرشيفات الشرطة السرية، دون إعداد خاص لكل نوع. ويذكر نتائج قوية مع الخط المتصل الإنجليزي والنصوص المطبوعة.

النص السلس قد يخفي الخطأ

برامج OCR التقليدية، أي التي تحوّل صورة النص إلى كلمات، تفشل غالباً بشكل واضح: حروف مشوشة. يلاحظ Casey أن النموذج اللغوي قد ينتج نصاً سلساً لكنه خاطئ. ورأى أيضاً أخطاء في الخط اليدوي للغات التي رآها النموذج أقل.

يتيح ArtificeOCR وضع الصورة بجانب النص المنسوخ، وتصحيح الأخطاء، ومراجعة التعديلات اللاحقة.

ملاحظات على فخار روماني

فحص فريق من مختبر الرؤية الحاسوبية في TU Wien والمعهد النمساوي للآثار سجلات فخار بخط اليد من Carnuntum، وهو موقع روماني في النمسا اليوم. يضم الأرشيف نحو 70,000 سجل. الملاحظات بألمانية مختصرة، وتحيط بالرسوم التقنية أو تتداخل معها، وتختلف من عقد إلى آخر.

أنشأ الفريق CENTURIA، وهو معيار اختبار من 507 سجلات موسومة. ومن بين خمسة نماذج مفتوحة، سجّل olmOCR 2 أقل خطأ قبل أي تكييف. وباستخدام LoRA، وهي طريقة تدرّب مجموعة صغيرة من المعاملات الإضافية، دربوه على 57 سجلاً. وعلى السجلات الـ450 الأخرى انخفض خطأ النسخ من 15.58% إلى 1.11%.

تخيّل البحث يدوياً في 70,000 ملاحظة ورقية. هذه هي المشكلة التي يريدون إزالتها.

وحدود المصدر واضحة. ArtificeOCR لا يزال في مرحلة مبكرة. ونتيجة الفخار جاءت من معيار من 507 سجلات، وتطبيقها على السجلات الـ70,000 كلها هدف تالٍ للفريق. أما ما يرويه Casey فهو تجربته الشخصية، لا اختباراً رسمياً.