۱۴۰۵ آبان ۲۶, سه‌شنبه
دلار آمریکا۲۶۶٬۸۹۵▼ ۰٫۶۸٪یورو۲۹۴٬۳۶۰▼ ۰٫۶۹٪درهم امارات۷۲٬۷۲۵▼ ۰٫۶۸٪سکه امامی۲۵۱٬۴۹۰٬۰۰۰▲ ۰٫۳۷٪طلای ۱۸ عیار (گرم)۲۴٬۶۶۶٬۶۰۰▲ ۰٫۴٪انس طلا۳٬۸۷۰ $▲ ۰٫۱۴٪تتر۲۶۹٬۵۴۰▲ ۰٫۰۵٪بیت‌کوین۶۴٬۲۰۰ $▼ ۱٫۵۶٪اتریوم۱٬۷۸۷ $▼ ۲٫۰۸٪سولانا۷۲٫۵۵ $▲ ۱٫۴۷٪اپل۳۵۱٫۶۹ $▼ ۰٫۳۱٪انویدیا۱۵۴٫۹۴ $▼ ۰٫۷۷٪مایکروسافت۴۹۹٫۶۵ $▼ ۳٫۵۴٪آلفابت (گوگل)۲۸۰٫۴۰ $▼ ۱٫۱۷٪تسلا۳۷۹٫۶۲ $▼ ۰٫۰۳٪شاخص نزدک۲۴٬۲۴۶ $▼ ۱٫۰۸٪
نرخ ارز

Rebellions با NVLink Fusion، NPU خود را به NVIDIA وصل می‌کند

NVIDIA، Rebellions و SK Telecom با NVLink Fusion برای هوش مصنوعی کره همکاری دارند؛ GPU برای prefill، NPU برای decode. آمادگی سیستم‌ها برای ۲۰۲۸ انتظار می‌رود.

تصویر سه‌بعدی رسمی NVIDIA از برد شتاب‌دهنده با دو تراشه در بالا و یک تراشه در پایین، منتشرشده همراه اطلاعیه NVLink Fusion
تصویر سه‌بعدی رسمی NVIDIA از برد شتاب‌دهنده با دو تراشه در بالا و یک تراشه در پایین، منتشرشده همراه اطلاعیه NVLink Fusion
فهرست مطالب
  1. چه چیزی اعلام شد
  2. استنتاج تفکیک‌شده: prefill روی GPU، decode روی NPU
  3. دستورالعمل‌های Dynamo برای چهار مدل کره‌ای
  4. معنایش برای توسعه‌دهنده‌ها

NVIDIA، Rebellions و SK Telecom روز ۱۷ آبان ۱۴۰۵ (۸ نوامبر ۲۰۲۶) همکاری برای توسعه زیرساخت هوش مصنوعی حاکمیتی کره با NVLink Fusion را اعلام کردند. طبق اطلاعیه رسمی NVIDIA، Rebellions پردازنده‌های عصبی (NPU) مدل Rebel R200 خود را به پلتفرم NVIDIA وصل می‌کند و SK Telecom قصد دارد سیستم‌های حاصل را در مرکز داده هوش مصنوعی خود به کار بگیرد.

چه چیزی اعلام شد

اطلاعیه NVIDIA سه بخش اصلی دارد:

  • NVLink Fusion: طبق توضیح NVIDIA، این فناوری پلتفرم شرکت را به پردازنده‌های سفارشی (XPU) گسترش می‌دهد تا سازنده‌های تراشه، سیلیکون تخصصی خود را با شبکه scale-up و اکوسیستم زیرساخت NVIDIA ترکیب کنند. NPUهای R200 داخل یک رک از طریق NVLink به هم وصل می‌شوند.
  • NVIDIA MGX: Rebellions سیستم‌های رک‌مقیاس را روی معماری رک MGX می‌سازد. به گفته NVIDIA، MGX به سیستم‌های GPU و NPU اجازه می‌دهد اجزایی مثل ابعاد رک، توزیع برق و خنک‌سازی را مشترک داشته باشند و Rebellions را به زنجیره تأمین سازندگان و تأمین‌کنندگان قطعات متصل می‌کند.
  • استقرار: SK Telecom قصد دارد این زیرساخت را به مدل‌های بنیادین اختصاصی خود از جمله A.X K2 و به خدمات عمومی پروژه «AI for All» کره وصل کند. وزارت علوم و فناوری اطلاعات کره (MSIT) از این همکاری حمایت می‌کند.

زمان‌بندی روشن است: طبق اطلاعیه، سیستم‌های R200 شرکت Rebellions انتظار می‌رود در ۲۰۲۸ برای استقرار آماده باشند. اطلاعیه از تعداد تراشه، ظرفیت مرکز داده یا قیمت چیزی نمی‌گوید.

استنتاج تفکیک‌شده: prefill روی GPU، decode روی NPU

بخش فنی خبر اینجاست. NVIDIA می‌نویسد شرکت‌ها قصد دارند مراحل مختلف تولید پاسخ را به پردازنده‌ای بسپارند که برایش مناسب‌تر است: GPUهای NVIDIA برای prefill و NPUهای Rebellions برای decode، تا توان عملیاتی و بازده انرژی بهتر شود.

برای توسعه‌دهنده‌ها، توضیح عمومی این الگو (که از اطلاعیه نیامده و توضیح DevNA است) این است. استنتاج در یک مدل زبانی بزرگ (LLM) دو مرحله دارد:

  1. Prefill: مدل کل پرامپت را یک‌جا پردازش می‌کند. این مرحله محاسبه‌محور است و موازی‌سازی خوبی دارد.
  2. Decode: مدل توکن‌ها را یکی‌یکی تولید می‌کند. هر گام به حافظه و تأخیر حساس‌تر است تا به توان خام محاسبه.

چون نیازهای این دو مرحله فرق دارد، سیستم‌های تفکیک‌شده (disaggregated) آن‌ها را روی سخت‌افزار جدا اجرا می‌کنند. NVIDIA مدعی است R200 برای استنتاج کم‌تأخیر و کم‌مصرف روی مدل‌های پیشرو، از جمله مدل‌های mixture-of-experts چندتریلیون‌پارامتری، طراحی شده است. این ادعای سازنده است و در منابع ما بنچمارک مستقلی برای آن نیامده است.

دستورالعمل‌های Dynamo برای چهار مدل کره‌ای

همان روز NVIDIA در یک پست وبلاگی از دستورالعمل‌های استقرار بهینه‌شده با Dynamo برای چهار مدل باز کره‌ای خبر داد: A.X K2 از SK Telecom، K-EXAONE 2.0 از LG AI Research، Solar Open 2 از Upstage و Motif-3 از Motif Technologies. بهینه‌سازی برای GPUهای B200 است و NVIDIA Dynamo را چارچوب متن‌باز و توزیع‌شده برای استنتاج چندگره‌ای توصیف می‌کند که مسیریابی درخواست‌ها و ارتباط بین GPUها را مدیریت می‌کند.

NVIDIA می‌گوید این دستورالعمل‌ها «تا دو برابر» (up to 2x) عملکرد از همان ابتدا (out of the box) می‌دهند. پست مبنای این مقایسه را مشخص نمی‌کند: نه پیکربندی پایه، نه چارچوب مقایسه‌ای. پست پارامترهای مدل‌ها را هم نمی‌گوید و لینک مستقیمی به خود دستورالعمل‌ها نداشت. پس این عدد فعلاً ادعای سازنده است، نه نتیجه‌ای که بشود بازتولید کرد.

پست دیگری از NVIDIA همکاری گسترده‌تر با MSIT را توضیح می‌دهد: در چارچوب «AI for All»، NVIDIA با سه کنسرسیوم برگزیده و چهار سازنده مدل بنیادین کره‌ای روی بهینه‌سازی استنتاج با Dynamo کار می‌کند. این پست می‌گوید همکاری، زمینه را برای بررسی مشارکت شرکت‌های NPU و XPU کره‌ای در اکوسیستم NVLink Fusion فراهم می‌کند. پست نام کنسرسیوم‌ها و سازندگان مدل را نمی‌آورد.

معنایش برای توسعه‌دهنده‌ها

اطلاعیه پیش از ۲۰۲۸ سیستم آماده‌ای وعده نمی‌دهد. به برداشت DevNA، این اعلام بیشتر یک نقشه‌راه است: NVIDIA از طریق NVLink Fusion و MGX در رک‌هایی حضور دارد که بخشی از کارشان را تراشه شریک انجام می‌دهد. برای تیم‌هایی که مدل سرو می‌کنند، الگوی تفکیک prefill و decode ارزش دنبال کردن دارد. اینکه R200 در عمل چقدر کارایی بدهد، پس از عرضه سیستم‌ها و بنچمارک مستقل روشن می‌شود.

دیدگاه‌ها

۰/۲٬۰۰۰

دیدگاه‌ها پس از بررسی تحریریه منتشر می‌شوند. توهین، تبلیغ و لینک‌های بی‌ربط حذف می‌شوند؛ نقد فنی و مستند همیشه خوش‌آمد است.

$ comments --count۰

هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.

مطالب مرتبط