خودبهبودی بازگشتی؛ Sakana AI پیشچاپ و کد روش MASS را منتشر کرد
پیشچاپ Sakana AI و UC Berkeley روش MASS را برای خودبهبودی بازگشتی آزمود: امتیاز بهازای هر توکن خروجی روی چهار بنچمارک پژوهشی ۱٫۲ تا ۱٫۶ برابر شد.

فهرست مطالب
Sakana AI روز ۲۰ مهر ۱۴۰۵ (۱۲ اکتبر ۲۰۲۶) روش MASS را منتشر کرد: یک پیشچاپ ۳۹ صفحهای — کار مشترک Sakana AI و UC Berkeley — که در آن یک مدل زبانی متنباز همزمان هر سه نقش یک تیم چندعاملی را بازی میکند و کار همان تیم به وزنهای خودش تقطیر (distillation) میشود؛ نه برچسب انسانی لازم است، نه مدل معلم بزرگتر. آنچه اندازهگیری شده «باهوشتر شدن» عمومی یک مدل نیست: دو دور آموزش روی یک مدل ۲۷ میلیارد پارامتری، امتیاز بهازای هر توکن خروجی (score per output token) را روی چهار بنچمارک پژوهشی ۱٫۲ تا ۱٫۶ برابر کرد و در عوض روی دو بنچمارک کدنویسی کمی پایین آورد. مقاله در arXiv (شماره 2610.12176، ثبت ۱۶ مهر) و کد در GitHub در دسترس است.
حلقه خودبهبودی بازگشتی: سه نقش، یک مدل
به نوشته پست پژوهشی Sakana AI، هر سه نقش را همان مدلی بازی میکند که دارد بهینه میشود:
- مجری (executor) یک تیم چندعاملی — یک هماهنگکننده (orchestrator) و چند زیرایجنت (subagent) — را اجرا میکند و یک «فضای کار» (workspace) تحویل میدهد: نتایج، نمودارها و گزارش پژوهشی.
- داور (evaluator) دو فضای کار را مقایسه میکند، میگوید کدام تکلیف را بهتر برآورده کرده و استدلالش را مینویسد.
- بهینهساز (optimizer) با بازخورد داور چهار جزء گردشکار را بازنویسی میکند: نقش (role)، دستور (instruction)، قرارداد (contract، یعنی خروجیهایی که زیرایجنت باید برگرداند و بررسیهای لازم) و پرش (hop، یعنی ترتیب فراخوانی زیرایجنتها).
حلقه درونی، با وزنهای منجمد، جستوجوی گردشکار است. حلقه بیرونی گردشکار برنده را ۱۸ بار روی هر تکلیف اجرا میکند، ترجیحهای دوبهدوی داور را با یک مدل بردلی-تری (Bradley–Terry) به امتیاز هر فضای کار تبدیل میکند و تا ۱۶ مسیر نگه میدارد: ۱۵ برای آموزش و یکی برای اعتبارسنجی. متن گردشکار را از پرامپت اولیه هماهنگکننده حذف میکند و مدل را با LoRA روی گفتوگوهای هماهنگکننده و زیرایجنتها آموزش میدهد.
آزمایش MASS: Qwen3.6-27B و ۱۲ تکلیف
مدل پایه Qwen3.6-27B است و ایجنتها داخل محیط qwen-code اجرا میشوند. MASS را روی ۱۲ تکلیف پژوهشی مصنوعی و پایانباز (open-ended) در حوزههای مالی، رباتیک و دارویی آزمودند: ۹ برای آموزش و ۳ کنار گذاشتهشده برای تست؛ اما داده آموزشی از ۸ تکلیف آمد، چون روی یکی گردشکار بهتری پیدا نشد. دو دور کامل اجرا شد.
روی سه تکلیف تست — جایی که هیچ مدلی گردشکار بهینهشده را در پرامپتش ندارد — و با داوری دو مدل بیرونی GPT-5.5 و Claude Opus 4.8 که نتیجهشان از حلقه MASS پنهان ماند، دور اول در ۵۳٫۹ درصد مقایسهها مدل پایه را برد، دور دوم در ۶۹٫۹ درصد، و در ۶۰٫۸ درصد از دور اول جلو زد.
این اعداد «دقت» نیستند
دور دوم نسبت به مدل پایه، در امتیاز بهازای هر توکن خروجی:
| بنچمارک | نسبت به مدل پایه |
|---|---|
| MLR-Bench | ۱٫۶۰× |
| DSBench | ۱٫۳۵× |
| AstaBench E2E-Hard | ۱٫۲۸× |
| ScienceAgentBench | ۱٫۲۰× |
| Terminal-Bench 2.0 | ۰٫۹۶× |
| SWE-bench Verified | ۰٫۹۴× |
چهار ردیف اول همان بازه ۱٫۲ تا ۱٫۶ برابری چکیده مقالهاند. دو ردیف آخر یعنی روی دو بنچمارک کدنویسی مدل آموزشدیده کمی عقبتر از پایه است؛ نویسندهها انتقال ناهمگون را مسئلهای باز میدانند و گمان میکنند افزودن تکالیف مهندسی نرمافزار به داده آموزش حلش کند.
چرا تیم چندعاملی، نه یک ایجنت تنها؟
جواب، کارایی است. نسخه چندعاملی با ۲۸٫۸ میلیون توکن نظارتی به نرخ برد ۶۸٫۳ درصد در برابر مدل پایه رسید، اما نسخه تکعاملی با ۴۲ میلیون توکن روی ۶۴٫۰ درصد ماند — حدود ۳۱ درصد توکن کمتر. داوران بیرونی هم در ۸۵٫۱ درصد مقایسهها خروجی تیم چندعاملی را به ایجنت تنها ترجیح دادند.
گردشکار جدا از وزنها هم ارزش دارد: مدل پایه با گردشکارهای دور اول، در ۶۴ درصد مقایسههای تکلیفهای آموزش، از گردشکارهای جستوجوی خودش جلو زد. به گفته مقاله، توافق داور درونی با همین داورهای بیرونی هم در طول سه چرخه از ۷۳ به ۹۳ درصد رسید.
سه هشداری که خود نویسندهها میدهند
انتقال ناهمگون اولی است. دومی ناپایداری جستوجو است: مقاله میگوید جستوجوی گردشکار پرنوسان است و پس از تکرارهای خوب، پسرفتهای تند میآید؛ به نظر نویسندهها بهینهساز زبانی به معادلی برای زمانبند نرخ یادگیری (learning-rate scheduler) نیاز دارد تا جستوجو در فضای متن پایدار شود.
سومی هشدار امنیتی است. نویسندهها در نتیجهگیری مقاله مینویسند نقطههای کور مشترک «ممکن است پاشنه آشیل خودبهبودی بازگشتی باشند»: در یک حلقه همگن، یک نقطه کور مشترک میتواند نتیجهای معیوب را بهعنوان بهبود بپذیرد و وارد مدل بعدی کند. چون همان ضعف هم رفتار سیستم را خراب میکند و هم سازوکار اصلاحش را، بهروزرسانیهای پشتسرهم میتوانند تقویتش کنند. (نظارت بیرونی بر ایجنتها را پیشتر در پلتفرم ایمنی ایجنت NVIDIA بررسی کردهایم.)
چه چیزی برای شما عوض میشود
MASS مهندسی گردشکار ایجنت را به داده آموزشی تبدیل میکند، روی یک مدل متنباز ۲۷ میلیاردی، نه یک مدل مرزی بسته. کد با vLLM و LoRA منتشر شده، اما GPU میخواهد؛ برای تجربه در مقیاس کوچکتر، اجرای محلی مدلها نقطه ورود ارزانتری است.
اندازه ادعا را هم گم نکنیم: این پیشچاپ داوری همتا نشده و بردها را داور مدلی سنجیده، نه انسان؛ مخزن کد هم خودش را «پیادهسازی پژوهشی» مینامد، نه محصول.




دیدگاهها
دیدگاهها پس از بررسی تحریریه منتشر میشوند. توهین، تبلیغ و لینکهای بیربط حذف میشوند؛ نقد فنی و مستند همیشه خوشآمد است.
هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.