Sakana AI و UC Berkeley در ۲۰ مهر ۱۴۰۵ پیشچاپ روش MASS را منتشر کردند: یک مدل متنباز همزمان مجری، داور و بهینهساز تیم چندعاملی خودش است.
با وزنهای منجمد، بهینهساز نقشها، دستورها، قراردادهای خروجی و ترتیب فراخوانی تیم را بازنویسی میکند تا داور بگوید خروجی بهتر شد.
اجرای تیمی که خودِ مدل بهترین دانسته، با LoRA به داده آموزش تبدیل میشود. مدل بهروزشده دوباره هر سه نقش را میگیرد.
مدل پایه Qwen3.6-27B داخل محیط qwen-code؛ ۱۲ تکلیف پژوهشی مصنوعی در مالی، رباتیک و دارویی، ۹ برای آموزش و ۳ برای تست. دو دور کامل.
روی تکلیفهای تست، دور اول در ۵۳٫۹ درصد مقایسهها مدل پایه را برد و دور دوم در ۶۹٫۹ درصد. دور دوم در ۶۰٫۸ درصد از دور اول جلو زد.
عدد تیتری امتیاز بهازای هر توکن خروجی است: ۱٫۶۰ برابر روی MLR-Bench، اما ۰٫۹۶ و ۰٫۹۴ برابر روی Terminal-Bench 2.0 و SWE-bench Verified.
نسخه چندعاملی با ۲۸٫۸ میلیون توکن نظارتی به نرخ برد ۶۸٫۳ درصد رسید؛ نسخه تکعاملی با ۴۲ میلیون توکن روی ۶۴٫۰ درصد ماند.
نویسندهها مینویسند نقطه کور مشترک «ممکن است پاشنه آشیل» این حلقه باشد. جزئیات دو دور آموزش و عدد هر بنچمارک را در مطلب DevNA بخوانید.
پیشچاپ Sakana AI و UC Berkeley روش MASS را برای خودبهبودی بازگشتی آزمود: امتیاز بهازای هر توکن خروجی روی چهار بنچمارک پژوهشی ۱٫۲ تا ۱٫۶ برابر شد.