۱۴۰۵ آبان ۲۶, سه‌شنبه
دلار آمریکا۲۶۷٬۹۱۰▼ ۰٫۳٪یورو۲۹۵٬۳۸۰▼ ۰٫۳۴٪درهم امارات۷۳٬۰۰۹▼ ۰٫۲۹٪سکه امامی۲۵۲٬۲۰۰٬۰۰۰▲ ۰٫۶۶٪طلای ۱۸ عیار (گرم)۲۴٬۶۴۳٬۶۰۰▲ ۰٫۳۱٪انس طلا۳٬۸۶۷ $▲ ۰٫۰۴٪تتر۲۷۰٬۴۰۴▲ ۰٫۳۷٪بیت‌کوین۶۴٬۳۶۴ $▼ ۱٫۳٪اتریوم۱٬۸۱۲ $▼ ۰٫۶۸٪سولانا۷۲٫۷۰ $▲ ۱٫۶۸٪اپل۳۵۲٫۷۸ $▼ ۰٫۹۸٪انویدیا۱۵۶٫۱۴ $▼ ۴٫۱۲٪مایکروسافت۵۱۷٫۹۹ $▼ ۱٫۱۲٪آلفابت (گوگل)۲۸۳٫۷۲ $▼ ۴٫۰۷٪تسلا۳۷۹٫۷۴ $▼ ۲٫۶۹٪شاخص نزدک۲۴٬۵۱۰ $▼ ۲٫۴۹٪
نرخ ارز

نشت KV cache در GLM 5.3 روی Workers AI؛ ۱۵۵ پاسخ آسیب‌دیده

Cloudflare تأیید کرد نشت KV cache در GLM 5.3 روی Workers AI داده مشتریان دیگر را در ۱۵۵ پاسخ نشان داد؛ علت، رفع و چک‌لیست SGLang خودمیزبان.

اسلاید تیره با عدد ۱۵۵ و نشان KV CACHE LEAK و لوگوی Cloudflare در رنگ‌بندی هشدار برای نشت حافظه کش مدل زبانی
اسلاید تیره با عدد ۱۵۵ و نشان KV CACHE LEAK و لوگوی Cloudflare در رنگ‌بندی هشدار برای نشت حافظه کش مدل زبانی
فهرست مطالب
  1. نشت KV cache چگونه رخ داد
  2. مفاهیم: KV cache و جداسازی prefill/decode
  3. زمان‌بندی (UTC)
  4. ریشه مشکل
  5. رفع مشکل
  6. چک‌لیست برای تیم‌هایی که استنتاج را خودشان اجرا می‌کنند

Cloudflare با انتشار گزارشی درباره مدل GLM 5.3 (@cf/zai-org/glm-5.3) روی Workers AI تأیید کرد که برخی پاسخ‌ها حاوی داده درخواست‌های مشتریان دیگر بوده‌اند. به نوشته Michelle Chen در وبلاگ Cloudflare، ۱۵۵ پاسخ آسیب دیده‌اند و مدل دیگری در Workers AI تحت تأثیر نبوده است.

نشت KV cache چگونه رخ داد

داده‌ای که در پاسخ‌ها دیده شد، از صفحه‌های قدیمی حافظه KV (KV cache) می‌آمد؛ یعنی از درخواست‌هایی که اندکی پیش‌تر به همان مدل رسیده بودند. همه پاسخ‌های آسیب‌دیده به پرامپت‌هایی بلندتر از ۶۸۱٬۲۸۰ توکن داده شده بودند و Cloudflare می‌گوید تنها «تعداد کمی» از مشتریان را شامل می‌شود. این شرکت شواهدی از سوءاستفاده عمدی نیافته است.

مفاهیم: KV cache و جداسازی prefill/decode

مدل زبانی هنگام تولید هر توکن، به کلیدها و مقادیر (Key/Value) توکن‌های قبلی نگاه می‌کند. ذخیره این مقادیر در حافظه GPU همان KV cache است تا هر بار از اول محاسبه نشود.

در معماری جداسازی prefill/decode (disaggregated serving)، گره‌های prefill پرامپت را پردازش و KV را می‌سازند و آن را به گره‌های decode می‌فرستند که توکن‌ها را یکی‌یکی تولید می‌کنند. اگر صفحه‌ای از این حافظه بدون بازنویسی دوباره استفاده شود، محتوای درخواست قبلی دیده می‌شود.

زمان‌بندی (UTC)

  • ۲۷ اوت ۲۰۲۶: GLM 5.3 با همین پیکربندی عرضه شد.
  • ۸ سپتامبر، ساعت ۲۳:۱۱: گزارش را Gadi Evron از Knostic از طریق برنامه HackerOne شرکت Cloudflare ارسال کرد.
  • ۹ سپتامبر، ساعت ۱۳:۲۲: حادثه امنیتی اعلام شد؛ ساعت ۱۴:۰۰ مدل خصوصی شد و درخواست‌ها خطای HTTP 400 گرفتند.
  • ۹ سپتامبر، ساعت ۱۹:۴۰: مدل دوباره عمومی شد.
  • ۲ و ۱۹ اکتبر: SGLang نسخه‌های v0.5.21 و v0.5.22 را منتشر کرد.
  • ۲۶ اکتبر: انتشار هماهنگ‌شده گزارش.

ریشه مشکل

دو عامل روی هم افتادند. اول، pool مربوط به KV در گره prefill ۶۸۱٬۲۸۰ توکن ظرفیت داشت، در حالی که زمینه مدل ۱٬۰۴۸٬۵۷۶ توکن است. SGLang اندازه pool را از حافظه باقی‌مانده GPU هنگام راه‌اندازی تعیین می‌کند و چیزی آن را با طول زمینه هماهنگ نمی‌کند.

دوم، باگی در حالت disaggregated: درخواست بیش‌ازحد بلند «رد» می‌شد و یک توکن جایگزین می‌گرفت، اما متوقف نمی‌شد. گره decode روی صفحه‌های قدیمی KV توجه (attention) می‌کرد و به‌جای خطا، پاسخ HTTP 200 برمی‌گرداند.

رفع مشکل

Cloudflare اندازه pool را به حدود ۲٫۰۴ میلیون توکن، تقریباً دو برابر طول زمینه، رساند. وصله SGLang درخواست‌های رد‌شده را پیش از هر انتقال KV کنار می‌گذارد و به بالادست فرستاده شده است. آزادسازی تأخیری صفحه‌های KV، محدود کردن دسته‌های انتقال Mooncake و تغییر رفتار load balancer هم اضافه شد. نسخه v0.5.22 در صفحه انتشار SGLang در ۱۹ اکتبر منتشر شد و Cloudflare آن را حداقل نسخه توصیه‌شده می‌داند. Cloudflare روی بررسی یکپارچگی در سطح صفحه و راستی‌آزمایی صوری پروتکل انتقال KV هم کار می‌کند.

چک‌لیست برای تیم‌هایی که استنتاج را خودشان اجرا می‌کنند

  • پس از هر تغییر در وزن‌ها، کوانتیزاسیون، موازی‌سازی یا تنظیمات حافظه، اندازه KV pool در لاگ راه‌اندازی هر گره prefill و decode را با طول زمینه مقایسه کنید؛ اگر pool کوچک‌تر است، زمینه را کاهش دهید.
  • SGLang را به v0.5.22 یا جدیدتر ببرید.
  • آزادسازی تأخیری KV را روی هر دو نقش فعال و دسته‌های انتقال Mooncake را محدود کنید.
  • گزینه‌های --disaggregation-enable-kv-checksum و --kv-canary را، اگر مدل پشتیبانی می‌کند، روشن کنید و در لاگ‌ها تأیید کنید که درخواست‌ها بررسی می‌شوند.
  • load balancer را طوری تنظیم کنید که پیش از اولین توکن درخواست را abort نکند.

برای مرور مفاهیم دیگر زیرساخت هوش مصنوعی، می‌توانید مطلب Web Search API و AI Gateway در Cloudflare و خبر استریم رویداد K2 در Cloudflare را هم ببینید.

$ devna rate --article

—
هنوز رأیی ثبت نشده
  1. ۵۰
  2. ۴۰
  3. ۳۰
  4. ۲۰
  5. ۱۰

این مطلب چقدر به کارتان آمد؟

روی ستاره‌ها بزنید

واکنش شما

اولین نفری باشید که واکنش نشان می‌دهد.

پرسش‌های پرتکرار

کدام مدل و چه تعداد پاسخ آسیب دیدند؟

فقط مدل GLM 5.3 روی Workers AI. Cloudflare می‌گوید ۱۵۵ پاسخ، همگی برای پرامپت‌های بلندتر از ۶۸۱٬۲۸۰ توکن، حاوی داده درخواست‌های اخیر مشتریان دیگر بودند و مدل دیگری تحت تأثیر نبود.

آیا کسی عمداً از این ضعف سوءاستفاده کرد؟

Cloudflare شواهدی از سوءاستفاده عمدی پیدا نکرده است؛ درخواست‌های آسیب‌دیده از نظر زمان‌بندی و حجم شبیه استفاده عادی از زمینه بلند بودند.

اگر SGLang را خودم اجرا می‌کنم چه کنم؟

اندازه KV pool را با طول زمینه مقایسه کنید، به SGLang نسخه v0.5.22 یا جدیدتر بروید و تنظیمات پیشنهادی Cloudflare را اعمال کنید؛ جزئیات در چک‌لیست همین خبر آمده است.

منابع

  1. Cloudflare Blog: KV cache exposure remediation (Michelle Chen, 26 Oct 2026)
  2. SGLang v0.5.22 release notes (GitHub)

خطایی در این مطلب دیدید؟ به تحریریه گزارش دهید؛ اصلاحیه‌ها طبق اصول تحریریه ثبت می‌شوند.

دیدگاه‌ها

۰/۲٬۰۰۰

دیدگاه‌ها پس از بررسی تحریریه منتشر می‌شوند. توهین، تبلیغ و لینک‌های بی‌ربط حذف می‌شوند؛ نقد فنی و مستند همیشه خوش‌آمد است.

$ comments --count۰

هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.

مطالب مرتبط