OpenAI روز ۲۷ مهر ۱۴۰۵ گزارشی درباره توان مدلهایش در زبانهای کممنبع مثل COBOL، Fortran و Visual Basic منتشر کرد.
داده آموزشی کمی از آنها هست، اما هنوز زیرساخت بانکها، پیشبینی هوا و تحلیل ایمنی راکتورهای هستهای روی آنها کار میکند.
در MultiLangBench مدل باید موتور پایگاه داده سازگار با SQLite را از صفر بسازد. به گفته OpenAI، GPT-6 Astra بهطور میانگین ۸۷٫۴ درصد تستها را پاس کرد.
Astra در ۱۹ زبان از ۲۰ زبان بالای ۸۳ درصد گرفت؛ COBOL با ۷۲٫۱ درصد پایینترین امتیاز را داشت.
طبق گزارش OpenAI، GPT-6.1 Sol در مهاجرت برنامههای COBOL با استدلال کم ۸۶٫۶ درصد و با استدلال بیشتر ۹۷٫۹ درصد دقت گرفت.
MultiLangBench با مجوز Apache 2.0 روی GitHub منتشر شده و هر تیمی میتواند مدلها را در زبان خودش بسنجد.
جدول نتایج هر زبان، شیوه آزمون مهاجرت COBOL و محدودیتهای این ارزیابیها را در متن کامل خبر بخوانید.
OpenAI با دو ارزیابی تازه توان مدلهایش را در COBOL و Fortran سنجید؛ به گزارش این شرکت، GPT-6.1 Sol در مهاجرت COBOL به دقت ۹۷٫۹ درصد رسید.