OpenAI: دقت GPT-6.1 Sol در مهاجرت COBOL به ۹۷٫۹ درصد رسید
OpenAI با دو ارزیابی تازه توان مدلهایش را در COBOL و Fortran سنجید؛ به گزارش این شرکت، GPT-6.1 Sol در مهاجرت COBOL به دقت ۹۷٫۹ درصد رسید.

فهرست مطالب
OpenAI روز ۱۹ اکتبر ۲۰۲۶ (۲۷ مهر ۱۴۰۵) در پستی پژوهشی نتایج دو ارزیابی تازه را منتشر کرد که توان مدلهایش را در زبانهای برنامهنویسی کممنبع (Low-resource programming languages) مثل COBOL، Fortran و Visual Basic میسنجند. یکی از این دو ارزیابی، یعنی MultiLangBench، همزمان روی GitHub متنباز شد؛ خبری که برای تیمهایی که سیستمهای قدیمی بانکی و صنعتی را نگه میدارند، اهمیت عملی دارد.
زبانهای برنامهنویسی کممنبع چه مشکلی دارند؟
زبان کممنبع یعنی زبانی که در مقایسه با Python و JavaScript، کد و مستندات عمومی بسیار کمتری برای آموزش مدلها دارد. با این حال همین زبانها هنوز زیر خدمات حیاتی کار میکنند. OpenAI با استناد به دادههای IBM مینویسد COBOL پشت بیش از ۴۰ درصد سیستمهای بانکداری آنلاین، ۸۰ درصد تراکنشهای حضوری کارت اعتباری و ۹۵ درصد تراکنشهای خودپرداز است. Fortran هم در پیشبینی وضع هوا و تحلیل ایمنی راکتورهای هستهای به کار میرود.
به گفته OpenAI، این کار از بازخورد توسعهدهندهها و مشتریان سازمانی شروع شد که میگفتند ابزارهای هوش مصنوعی برای برنامهنویسی در این زبانها ضعیفاند. مشکل فقط زبان نیست: مستندات ناقص است، برنامهنویسهای اصلی رفتهاند و گاهی قواعد کسبوکار فقط در خود کد ثبت شده است.
ارزیابی اول: ساختن SQLite از صفر در ۲۰ زبان
در MultiLangBench مدل باید در یک زبان مشخص، موتور پایگاه دادهای سازگار با SQLite بسازد. برای اینکه همه زبانها با یک معیار سنجیده شوند، فایل پایگاه داده نقش رابط مشترک را دارد: برنامه مدل یک پایگاه داده اولیه و یک کوئری SQL میگیرد و پایگاه داده تغییریافته را تحویل میدهد، سپس نسخه مرجع SQLite نتیجه را بررسی میکند.
طبق مستندات مخزن، هدف پیادهسازی SQLite 3.40.1 است و تستها از مجموعه TCL Tests خود SQLite تبدیل شدهاند: از حدود ۵۱ هزار تست، ۲۴ هزار تست قابل تبدیل بوده است. برای کاهش هزینه، ارزیابی استاندارد فقط ۲۷۲ تست را اجرا میکند. محیط اجرا اینترنت ندارد، هر نسخه SQLite باید از آن پاک شود و اگر مدل به زبان دیگری کد بنویسد، امتیازش صفر است.
نتایج اعلامشده OpenAI با بیشترین سطح استدلال:
| زبان | GPT-5.6 Sol | GPT-6 Astra | GPT-6 Luna |
|---|---|---|---|
| COBOL | ۱۰٫۹٪ | ۷۲٫۱٪ | ۱۷٫۱٪ |
| OCaml | ۲۵٫۶٪ | ۸۵٫۸٪ | ۳۴٫۱٪ |
| Fortran | ۲۱٫۴٪ | ۸۳٫۵٪ | ۳۱٫۴٪ |
| Visual Basic | ۲۷٫۵٪ | ۸۹٫۴٪ | ۴۱٫۶٪ |
| میانگین ۲۰ زبان | ۲۶٫۸٪ | ۸۷٫۴٪ | ۴۰٫۳٪ |
GPT-6 Astra در ۱۹ زبان از ۲۰ زبان بالای ۸۳ درصد گرفت و COBOL با حدود ۷۲ درصد سختترین زبان ماند. GPT-6 Luna گزینه ارزانتر است: هزینه تخمینی API آن بهطور میانگین ۰٫۷۷ دلار برای هر نمونه است، در برابر ۳٫۴۸ دلار برای GPT-5.6 Sol؛ یعنی حدود ۷۸ درصد کمتر. در نمودار میانگین نرخ قبولی تستها در پست OpenAI، مدل GPT-6.1 Sol هم با ۸۷٫۰۴ درصد تقریباً همسطح Astra دیده میشود.
فهرست ۲۰ زبان شامل C، C#، C++، COBOL، Common Lisp، Fortran، Go، Java، JavaScript، Lean، OCaml، PHP، PowerShell، Python، Ruby، Rust، Scala، Swift، Visual Basic و Zig است.
ارزیابی دوم: مهاجرت برنامههای COBOL
در ارزیابی دوم، مدل باید برنامههای COBOL را به C++، Java، Kotlin، Python یا Rust منتقل کند، بدون اینکه رفتار برنامه عوض شود. OpenAI مثال روشنی میزند: حساب ممیز ثابت (Fixed-point) در COBOL رقمهای اعشاری اضافه را دور میریزد، مگر اینکه گرد کردن صریحاً خواسته شده باشد. بازنویسیای که این اعداد را گرد کند، بیخطا اجرا میشود اما نتیجه مالی متفاوتی میدهد.
برای همین، تستها مخفیاند و خروجی قابل مشاهده باید بایتبهبایت با برنامه اصلی یکی باشد؛ مهاجرت فقط وقتی موفق حساب میشود که همه تستها پاس شوند. طبق گزارش OpenAI، GPT-6.1 Sol با سطح استدلال کم به دقت ۸۶٫۶ درصد رسید، در حالی که GPT-5.6 Sol در همان تنظیمات فقط ۵٫۴ درصد گرفت و هزینه Sol جدید ۳۹ درصد کمتر بود. با استدلال بیشتر، دقت به ۹۷٫۹ درصد رسید که به گفته OpenAI این ارزیابی را به مرز اشباع رسانده است.
برای توسعهدهندهها چه معنایی دارد؟
- ابزار سنجش در دسترس است: MultiLangBench با مجوز Apache 2.0 منتشر شده و میتوانید مدلها را در زبانی که تیمتان با آن کار میکند بسنجید. معرفی مدلهای Sol و Luna را پیشتر در خبر انتشار GPT-6 Sol و Luna پوشش دادهایم.
- انتشار ارزیابی COBOL اعلام نشده: در پست OpenAI فقط انتشار MultiLangBench اعلام شده و درباره انتشار ارزیابی مهاجرت COBOL چیزی گفته نشده است.
- هر دو ارزیابی ساخت خود OpenAI است و همه اعداد بالا را خود شرکت گزارش کرده است؛ این نتایج را باید گزارش سازنده دانست، نه سنجش مستقل.
- بازبینی انسانی همچنان لازم است: OpenAI صریحاً میگوید استفاده از این توانایی در نرمافزار عملیاتی به بازبینی متخصص و تست در برابر قواعد کسبوکار و وابستگیهای سیستم نیاز دارد.
اگر با مفهوم پایه این مدلها آشنا نیستید، توضیح DevNA درباره مدل زبانی بزرگ نقطه شروع خوبی است. OpenAI از توسعهدهندهها خواسته مدلهای تازه را از طریق API روی زبانهای خودشان امتحان کنند و درباره نقاط ضعف بازخورد بدهند.




دیدگاهها
دیدگاهها پس از بررسی تحریریه منتشر میشوند. توهین، تبلیغ و لینکهای بیربط حذف میشوند؛ نقد فنی و مستند همیشه خوشآمد است.
هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.