۱۴۰۵ آبان ۲۶, سه‌شنبه
دلار آمریکا۲۶۶٬۸۹۵▼ ۰٫۶۸٪یورو۲۹۴٬۳۶۰▼ ۰٫۶۹٪درهم امارات۷۲٬۷۲۵▼ ۰٫۶۸٪سکه امامی۲۵۱٬۴۹۰٬۰۰۰▲ ۰٫۳۷٪طلای ۱۸ عیار (گرم)۲۴٬۶۶۶٬۶۰۰▲ ۰٫۴٪انس طلا۳٬۸۷۰ $▲ ۰٫۱۴٪تتر۲۶۹٬۵۴۰▲ ۰٫۰۵٪بیت‌کوین۶۴٬۲۰۰ $▼ ۱٫۵۶٪اتریوم۱٬۷۸۷ $▼ ۲٫۰۸٪سولانا۷۲٫۵۵ $▲ ۱٫۴۷٪اپل۳۵۱٫۶۹ $▼ ۰٫۳۱٪انویدیا۱۵۴٫۹۴ $▼ ۰٫۷۷٪مایکروسافت۴۹۹٫۶۵ $▼ ۳٫۵۴٪آلفابت (گوگل)۲۸۰٫۴۰ $▼ ۱٫۱۷٪تسلا۳۷۹٫۶۲ $▼ ۰٫۰۳٪شاخص نزدک۲۴٬۲۴۶ $▼ ۱٫۰۸٪
نرخ ارز

مدل کدنویسی Flint برای لپ‌تاپ؛ Recursive می‌گوید AI بیشترش را ساخته

استارتاپ Recursive مدل کدنویسی Flint را رایگان و با وزن‌های باز منتشر کرد؛ شرکت می‌گوید سامانه پژوهش خودکارش در ساخت آن نقش اصلی داشته است.

تصویر برندِ DevNA با عنوان Flint، عدد ۲٫۵ میلیارد و برچسب مدل باز؛ طراحی انتزاعی و بدون لوگوی شرکت
تصویر برندِ DevNA با عنوان Flint، عدد ۲٫۵ میلیارد و برچسب مدل باز؛ طراحی انتزاعی و بدون لوگوی شرکت
فهرست مطالب
  1. Flint چیست؟
  2. ادعای «ساخته‌شده با AI»
  3. عددهای عملکرد؛ همه از خود شرکت
  4. اجرای محلی: نکته‌ای که نباید از دست بدهید
  5. جمع‌بندی

استارتاپ Recursive به سرپرستی ریچارد سوشر (Richard Socher) مدل کدنویسی تازه‌ای به نام Flint را منتشر کرده است. این مدل رایگان است، وزن‌های آن با مجوز Apache 2.0 روی Hugging Face قابل دانلود است و، طبق گفته شرکت، برای اجرای روی لپ‌تاپ طراحی شده است. اما نکته اصلی خبر به روش ساخت آن برمی‌گردد: Recursive می‌گوید سامانه پژوهش خودکارش به نام Eureka Machine در تقریباً همه مراحل ساخت Flint نقش داشته است.

Flint چیست؟

Flint یک مدل ترکیب متخصصان (MoE) با ۳۹٫۸ میلیارد پارامتر کل است و برای هر توکن حدود ۲٫۵ میلیارد پارامتر را فعال می‌کند. کارت مدل در Hugging Face پنجره متنی ۲۶۲٬۱۴۴ توکنی را مستند کرده است. در اعلام عمومی Recursive، سقف ۵۱۲ هزار توکن ذکر شده و توصیه شده برای بهترین نتیجه در ۲۵۶ هزار توکن بماند.

ادعای «ساخته‌شده با AI»

به گفته Recursive، یک تیم کوچک Flint را در کمتر از چهار ماه ساخته است. Eureka Machine ایده پیشنهاد می‌دهد، آن‌ها را پیاده‌سازی و آزمایش می‌کند و نتیجه را برای انتخاب آزمایش بعدی به کار می‌گیرد. طبق اعلام شرکت، این سامانه در جست‌وجوی معماری (از پایه ۳۵ میلیارد پارامتری با ۳ میلیارد فعال تا پیکربندی نهایی)، کوانتیزه‌کردن لایه خروجی به ۴ بیت و نوشتن کرنل‌های تخصصی، از جمله یک «مگاکرنل» Metal برای تراشه‌های M4 و M5، نقش داشته است.

TechCrunch گزارش می‌دهد که Recursive کاهش حجم مدل تا ۷۱ درصد با آموزش کم‌بیت و افت کیفیت تقریباً ناچیز را هم به همین سامانه نسبت می‌دهد. شرکت میزان زمان صرفه‌جویی‌شده برای پژوهشگران را اعلام نکرده و سامانه را آزمایشی و زیر نظارت انسان توصیف کرده است.

این‌ها همه ادعای شرکت‌اند. تا زمان انتشار این خبر، ارزیابی مستقلی که سهم واقعی AI در هر مرحله را بسنجد دیده نشده است.

عددهای عملکرد؛ همه از خود شرکت

بنچمارک نتیجه اعلامی Recursive
SWE-bench Verified 74.2%
SWE-bench Pro v2 89.7%
Terminal-Bench 2.1 54.9%

کارت مدل می‌گوید در ارزیابی Terminal-Bench، راه‌حل‌هایی که مدل از وب گرفته شکست حساب شده‌اند و ارزیابی‌های دیگر ممکن است این قاعده را نداشته باشند. Recursive می‌گوید Flint در میان مدل‌های MoE با کمتر از ۵۰ میلیارد پارامتر کل، در این بنچمارک‌ها پیشتاز است.

درباره سرعت هم Recursive در آزمایش خود بیش از ۱۲۵ توکن بر ثانیه روی MacBook Pro با تراشه M4 Pro اعلام کرده است. TechCrunch عدد حدود ۱۳۱ توکن بر ثانیه را ذکر می‌کند که از آزمایش‌های همان شرکت نقل شده است.

TechCrunch همچنین به بررسی ویل نایت از نشریه Wired اشاره می‌کند؛ او گفته مدل‌های کوچک‌تر در کارهای برنامه‌نویسی بیشتر خطا می‌دهند یا کندترند، اما Flint درخواست‌های او را هر بار درست پاسخ داده است. او مدل را روی یک مک ۴۸ گیگابایتی برای ساخت برنامه‌های کوچک به کار برد. این بررسی یک آزمون کوچک است، نه ارزیابی جامع.

اجرای محلی: نکته‌ای که نباید از دست بدهید

نسخه اصلی BF16 حدود ۸۰ گیگابایت است و کارت مدل برای اجرا با SGLang به یک GPU از رده B300 یا H200 اشاره می‌کند. یعنی ادعای «روی لپ‌تاپ» به نسخه‌های کوانتیزه‌شده وابسته است. Unsloth نسخه GGUF را با حجم‌هایی از ۱۱٫۴ تا ۴۲٫۳ گیگابایت منتشر کرده است و صفحه آن رم یا VRAM موردنیاز را مشخص نکرده است.

برای اجرا با Ollama:

ollama run hf.co/unsloth/flint-GGUF:UD-Q4_K_XL

و با llama.cpp:

llama-server -hf unsloth/flint-GGUF:UD-Q4_K_XL

کارت مدل برای تولید پاسخ دمای ۱٫۰، top-p برابر ۰٫۹۵، top-k برابر ۲۰ و بودجه خروجی حداقل ۳۲٬۷۶۸ توکن را توصیه می‌کند.

جمع‌بندی

اگر عددهای Recursive در ارزیابی مستقل هم تأیید شوند، Flint گزینه‌ای جدی برای کار محلی با کد خواهد بود؛ به‌ویژه برای کسانی که نمی‌خواهند کد خود را به سرور ابری بفرستند. اما فعلاً سه چیز را جدا نگه دارید: حجم واقعی مدل برای اجرای کامل، ادعای ساخت «بیشتر کار با AI» و عددهای بنچمارکی که هنوز مستقل نیستند.

برای آشنایی با اجرای مدل‌های زبانی روی سخت‌افزار شخصی، راهنمای اجرای LLM با Ollama را ببینید. درباره نمونه‌ای دیگر از بهبود خودکار مدل‌ها، خبر خودبهبودی بازگشتی Sakana AI را بخوانید.

دیدگاه‌ها

۰/۲٬۰۰۰

دیدگاه‌ها پس از بررسی تحریریه منتشر می‌شوند. توهین، تبلیغ و لینک‌های بی‌ربط حذف می‌شوند؛ نقد فنی و مستند همیشه خوش‌آمد است.

$ comments --count۰

هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.

مطالب مرتبط