۱۴۰۵ آبان ۲۶, سه‌شنبه
دلار آمریکا۲۶۶٬۸۹۵▼ ۰٫۶۸٪یورو۲۹۴٬۳۶۰▼ ۰٫۶۹٪درهم امارات۷۲٬۷۲۵▼ ۰٫۶۸٪سکه امامی۲۵۱٬۴۹۰٬۰۰۰▲ ۰٫۳۷٪طلای ۱۸ عیار (گرم)۲۴٬۶۶۶٬۶۰۰▲ ۰٫۴٪انس طلا۳٬۸۷۰ $▲ ۰٫۱۴٪تتر۲۶۹٬۵۴۰▲ ۰٫۰۵٪بیت‌کوین۶۴٬۲۰۰ $▼ ۱٫۵۶٪اتریوم۱٬۷۸۷ $▼ ۲٫۰۸٪سولانا۷۲٫۵۵ $▲ ۱٫۴۷٪اپل۳۵۱٫۶۹ $▼ ۰٫۳۱٪انویدیا۱۵۴٫۹۴ $▼ ۰٫۷۷٪مایکروسافت۴۹۹٫۶۵ $▼ ۳٫۵۴٪آلفابت (گوگل)۲۸۰٫۴۰ $▼ ۱٫۱۷٪تسلا۳۷۹٫۶۲ $▼ ۰٫۰۳٪شاخص نزدک۲۴٬۲۴۶ $▼ ۱٫۰۸٪
نرخ ارز

OpenAI: دقت GPT-6.1 Sol در مهاجرت COBOL به ۹۷٫۹ درصد رسید

OpenAI با دو ارزیابی تازه توان مدل‌هایش را در COBOL و Fortran سنجید؛ به گزارش این شرکت، GPT-6.1 Sol در مهاجرت COBOL به دقت ۹۷٫۹ درصد رسید.

کاور گرافیکی DevNA با عدد ۸۷٫۴ درصد و عنوان MultiLangBench درباره کدنویسی هوش مصنوعی در COBOL و Fortran
کاور گرافیکی DevNA با عدد ۸۷٫۴ درصد و عنوان MultiLangBench درباره کدنویسی هوش مصنوعی در COBOL و Fortran
فهرست مطالب
  1. زبان‌های برنامه‌نویسی کم‌منبع چه مشکلی دارند؟
  2. ارزیابی اول: ساختن SQLite از صفر در ۲۰ زبان
  3. ارزیابی دوم: مهاجرت برنامه‌های COBOL
  4. برای توسعه‌دهنده‌ها چه معنایی دارد؟

OpenAI روز ۱۹ اکتبر ۲۰۲۶ (۲۷ مهر ۱۴۰۵) در پستی پژوهشی نتایج دو ارزیابی تازه را منتشر کرد که توان مدل‌هایش را در زبان‌های برنامه‌نویسی کم‌منبع (Low-resource programming languages) مثل COBOL، Fortran و Visual Basic می‌سنجند. یکی از این دو ارزیابی، یعنی MultiLangBench، هم‌زمان روی GitHub متن‌باز شد؛ خبری که برای تیم‌هایی که سیستم‌های قدیمی بانکی و صنعتی را نگه می‌دارند، اهمیت عملی دارد.

زبان‌های برنامه‌نویسی کم‌منبع چه مشکلی دارند؟

زبان کم‌منبع یعنی زبانی که در مقایسه با Python و JavaScript، کد و مستندات عمومی بسیار کمتری برای آموزش مدل‌ها دارد. با این حال همین زبان‌ها هنوز زیر خدمات حیاتی کار می‌کنند. OpenAI با استناد به داده‌های IBM می‌نویسد COBOL پشت بیش از ۴۰ درصد سیستم‌های بانکداری آنلاین، ۸۰ درصد تراکنش‌های حضوری کارت اعتباری و ۹۵ درصد تراکنش‌های خودپرداز است. Fortran هم در پیش‌بینی وضع هوا و تحلیل ایمنی راکتورهای هسته‌ای به کار می‌رود.

به گفته OpenAI، این کار از بازخورد توسعه‌دهنده‌ها و مشتریان سازمانی شروع شد که می‌گفتند ابزارهای هوش مصنوعی برای برنامه‌نویسی در این زبان‌ها ضعیف‌اند. مشکل فقط زبان نیست: مستندات ناقص است، برنامه‌نویس‌های اصلی رفته‌اند و گاهی قواعد کسب‌وکار فقط در خود کد ثبت شده است.

ارزیابی اول: ساختن SQLite از صفر در ۲۰ زبان

در MultiLangBench مدل باید در یک زبان مشخص، موتور پایگاه داده‌ای سازگار با SQLite بسازد. برای اینکه همه زبان‌ها با یک معیار سنجیده شوند، فایل پایگاه داده نقش رابط مشترک را دارد: برنامه مدل یک پایگاه داده اولیه و یک کوئری SQL می‌گیرد و پایگاه داده تغییریافته را تحویل می‌دهد، سپس نسخه مرجع SQLite نتیجه را بررسی می‌کند.

طبق مستندات مخزن، هدف پیاده‌سازی SQLite 3.40.1 است و تست‌ها از مجموعه TCL Tests خود SQLite تبدیل شده‌اند: از حدود ۵۱ هزار تست، ۲۴ هزار تست قابل تبدیل بوده است. برای کاهش هزینه، ارزیابی استاندارد فقط ۲۷۲ تست را اجرا می‌کند. محیط اجرا اینترنت ندارد، هر نسخه SQLite باید از آن پاک شود و اگر مدل به زبان دیگری کد بنویسد، امتیازش صفر است.

نتایج اعلام‌شده OpenAI با بیشترین سطح استدلال:

زبان GPT-5.6 Sol GPT-6 Astra GPT-6 Luna
COBOL ۱۰٫۹٪ ۷۲٫۱٪ ۱۷٫۱٪
OCaml ۲۵٫۶٪ ۸۵٫۸٪ ۳۴٫۱٪
Fortran ۲۱٫۴٪ ۸۳٫۵٪ ۳۱٫۴٪
Visual Basic ۲۷٫۵٪ ۸۹٫۴٪ ۴۱٫۶٪
میانگین ۲۰ زبان ۲۶٫۸٪ ۸۷٫۴٪ ۴۰٫۳٪

GPT-6 Astra در ۱۹ زبان از ۲۰ زبان بالای ۸۳ درصد گرفت و COBOL با حدود ۷۲ درصد سخت‌ترین زبان ماند. GPT-6 Luna گزینه ارزان‌تر است: هزینه تخمینی API آن به‌طور میانگین ۰٫۷۷ دلار برای هر نمونه است، در برابر ۳٫۴۸ دلار برای GPT-5.6 Sol؛ یعنی حدود ۷۸ درصد کمتر. در نمودار میانگین نرخ قبولی تست‌ها در پست OpenAI، مدل GPT-6.1 Sol هم با ۸۷٫۰۴ درصد تقریباً هم‌سطح Astra دیده می‌شود.

فهرست ۲۰ زبان شامل C، C#، C++، COBOL، Common Lisp، Fortran، Go، Java، JavaScript، Lean، OCaml، PHP، PowerShell، Python، Ruby، Rust، Scala، Swift، Visual Basic و Zig است.

ارزیابی دوم: مهاجرت برنامه‌های COBOL

در ارزیابی دوم، مدل باید برنامه‌های COBOL را به C++، Java، Kotlin، Python یا Rust منتقل کند، بدون اینکه رفتار برنامه عوض شود. OpenAI مثال روشنی می‌زند: حساب ممیز ثابت (Fixed-point) در COBOL رقم‌های اعشاری اضافه را دور می‌ریزد، مگر اینکه گرد کردن صریحاً خواسته شده باشد. بازنویسی‌ای که این اعداد را گرد کند، بی‌خطا اجرا می‌شود اما نتیجه مالی متفاوتی می‌دهد.

برای همین، تست‌ها مخفی‌اند و خروجی قابل مشاهده باید بایت‌به‌بایت با برنامه اصلی یکی باشد؛ مهاجرت فقط وقتی موفق حساب می‌شود که همه تست‌ها پاس شوند. طبق گزارش OpenAI، GPT-6.1 Sol با سطح استدلال کم به دقت ۸۶٫۶ درصد رسید، در حالی که GPT-5.6 Sol در همان تنظیمات فقط ۵٫۴ درصد گرفت و هزینه Sol جدید ۳۹ درصد کمتر بود. با استدلال بیشتر، دقت به ۹۷٫۹ درصد رسید که به گفته OpenAI این ارزیابی را به مرز اشباع رسانده است.

برای توسعه‌دهنده‌ها چه معنایی دارد؟

  • ابزار سنجش در دسترس است: MultiLangBench با مجوز Apache 2.0 منتشر شده و می‌توانید مدل‌ها را در زبانی که تیمتان با آن کار می‌کند بسنجید. معرفی مدل‌های Sol و Luna را پیش‌تر در خبر انتشار GPT-6 Sol و Luna پوشش داده‌ایم.
  • انتشار ارزیابی COBOL اعلام نشده: در پست OpenAI فقط انتشار MultiLangBench اعلام شده و درباره انتشار ارزیابی مهاجرت COBOL چیزی گفته نشده است.
  • هر دو ارزیابی ساخت خود OpenAI است و همه اعداد بالا را خود شرکت گزارش کرده است؛ این نتایج را باید گزارش سازنده دانست، نه سنجش مستقل.
  • بازبینی انسانی همچنان لازم است: OpenAI صریحاً می‌گوید استفاده از این توانایی در نرم‌افزار عملیاتی به بازبینی متخصص و تست در برابر قواعد کسب‌وکار و وابستگی‌های سیستم نیاز دارد.

اگر با مفهوم پایه این مدل‌ها آشنا نیستید، توضیح DevNA درباره مدل زبانی بزرگ نقطه شروع خوبی است. OpenAI از توسعه‌دهنده‌ها خواسته مدل‌های تازه را از طریق API روی زبان‌های خودشان امتحان کنند و درباره نقاط ضعف بازخورد بدهند.

$ devna rate --article

—
هنوز رأیی ثبت نشده
  1. ۵۰
  2. ۴۰
  3. ۳۰
  4. ۲۰
  5. ۱۰

این مطلب چقدر به کارتان آمد؟

روی ستاره‌ها بزنید

واکنش شما

اولین نفری باشید که واکنش نشان می‌دهد.

پرسش‌های پرتکرار

منظور از زبان برنامه‌نویسی کم‌منبع چیست؟

زبانی که کد و مستندات عمومی کمی از آن برای آموزش مدل‌ها وجود دارد، مثل COBOL، Fortran و Visual Basic، در مقایسه با Python و JavaScript.

MultiLangBench چه چیزی را می‌سنجد؟

اینکه مدل بتواند در یک زبان مشخص، موتور پایگاه داده سازگار با SQLite 3.40.1 را از صفر بسازد؛ خروجی با نسخه واقعی SQLite بررسی می‌شود.

آیا می‌توان این بنچمارک را خودمان اجرا کرد؟

بله. تنظیمات ارزیابی و مجموعه تست با مجوز Apache 2.0 در مخزن openai/MultiLangBench روی GitHub منتشر شده است.

آیا خروجی مهاجرت COBOL آماده استفاده در محیط عملیاتی است؟

خیر. خود OpenAI تأکید کرده که به‌کارگیری در نرم‌افزار واقعی همچنان به بازبینی متخصص و تست در برابر قواعد کسب‌وکار نیاز دارد.

منابع

  1. Advancing coding in low-resource programming languages – OpenAI
  2. openai/MultiLangBench – GitHub

خطایی در این مطلب دیدید؟ به تحریریه گزارش دهید؛ اصلاحیه‌ها طبق اصول تحریریه ثبت می‌شوند.

دیدگاه‌ها

۰/۲٬۰۰۰

دیدگاه‌ها پس از بررسی تحریریه منتشر می‌شوند. توهین، تبلیغ و لینک‌های بی‌ربط حذف می‌شوند؛ نقد فنی و مستند همیشه خوش‌آمد است.

$ comments --count۰

هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.

مطالب مرتبط