نشت KV cache در GLM 5.3 روی Workers AI؛ ۱۵۵ پاسخ آسیبدیده
Cloudflare تأیید کرد نشت KV cache در GLM 5.3 روی Workers AI داده مشتریان دیگر را در ۱۵۵ پاسخ نشان داد؛ علت، رفع و چکلیست SGLang خودمیزبان.

فهرست مطالب
Cloudflare با انتشار گزارشی درباره مدل GLM 5.3 (@cf/zai-org/glm-5.3) روی Workers AI تأیید کرد که برخی پاسخها حاوی داده درخواستهای مشتریان دیگر بودهاند. به نوشته Michelle Chen در وبلاگ Cloudflare، ۱۵۵ پاسخ آسیب دیدهاند و مدل دیگری در Workers AI تحت تأثیر نبوده است.
نشت KV cache چگونه رخ داد
دادهای که در پاسخها دیده شد، از صفحههای قدیمی حافظه KV (KV cache) میآمد؛ یعنی از درخواستهایی که اندکی پیشتر به همان مدل رسیده بودند. همه پاسخهای آسیبدیده به پرامپتهایی بلندتر از ۶۸۱٬۲۸۰ توکن داده شده بودند و Cloudflare میگوید تنها «تعداد کمی» از مشتریان را شامل میشود. این شرکت شواهدی از سوءاستفاده عمدی نیافته است.
مفاهیم: KV cache و جداسازی prefill/decode
مدل زبانی هنگام تولید هر توکن، به کلیدها و مقادیر (Key/Value) توکنهای قبلی نگاه میکند. ذخیره این مقادیر در حافظه GPU همان KV cache است تا هر بار از اول محاسبه نشود.
در معماری جداسازی prefill/decode (disaggregated serving)، گرههای prefill پرامپت را پردازش و KV را میسازند و آن را به گرههای decode میفرستند که توکنها را یکییکی تولید میکنند. اگر صفحهای از این حافظه بدون بازنویسی دوباره استفاده شود، محتوای درخواست قبلی دیده میشود.
زمانبندی (UTC)
- ۲۷ اوت ۲۰۲۶: GLM 5.3 با همین پیکربندی عرضه شد.
- ۸ سپتامبر، ساعت ۲۳:۱۱: گزارش را Gadi Evron از Knostic از طریق برنامه HackerOne شرکت Cloudflare ارسال کرد.
- ۹ سپتامبر، ساعت ۱۳:۲۲: حادثه امنیتی اعلام شد؛ ساعت ۱۴:۰۰ مدل خصوصی شد و درخواستها خطای HTTP 400 گرفتند.
- ۹ سپتامبر، ساعت ۱۹:۴۰: مدل دوباره عمومی شد.
- ۲ و ۱۹ اکتبر: SGLang نسخههای v0.5.21 و v0.5.22 را منتشر کرد.
- ۲۶ اکتبر: انتشار هماهنگشده گزارش.
ریشه مشکل
دو عامل روی هم افتادند. اول، pool مربوط به KV در گره prefill ۶۸۱٬۲۸۰ توکن ظرفیت داشت، در حالی که زمینه مدل ۱٬۰۴۸٬۵۷۶ توکن است. SGLang اندازه pool را از حافظه باقیمانده GPU هنگام راهاندازی تعیین میکند و چیزی آن را با طول زمینه هماهنگ نمیکند.
دوم، باگی در حالت disaggregated: درخواست بیشازحد بلند «رد» میشد و یک توکن جایگزین میگرفت، اما متوقف نمیشد. گره decode روی صفحههای قدیمی KV توجه (attention) میکرد و بهجای خطا، پاسخ HTTP 200 برمیگرداند.
رفع مشکل
Cloudflare اندازه pool را به حدود ۲٫۰۴ میلیون توکن، تقریباً دو برابر طول زمینه، رساند. وصله SGLang درخواستهای ردشده را پیش از هر انتقال KV کنار میگذارد و به بالادست فرستاده شده است. آزادسازی تأخیری صفحههای KV، محدود کردن دستههای انتقال Mooncake و تغییر رفتار load balancer هم اضافه شد. نسخه v0.5.22 در صفحه انتشار SGLang در ۱۹ اکتبر منتشر شد و Cloudflare آن را حداقل نسخه توصیهشده میداند. Cloudflare روی بررسی یکپارچگی در سطح صفحه و راستیآزمایی صوری پروتکل انتقال KV هم کار میکند.
چکلیست برای تیمهایی که استنتاج را خودشان اجرا میکنند
- پس از هر تغییر در وزنها، کوانتیزاسیون، موازیسازی یا تنظیمات حافظه، اندازه KV pool در لاگ راهاندازی هر گره prefill و decode را با طول زمینه مقایسه کنید؛ اگر pool کوچکتر است، زمینه را کاهش دهید.
- SGLang را به v0.5.22 یا جدیدتر ببرید.
- آزادسازی تأخیری KV را روی هر دو نقش فعال و دستههای انتقال Mooncake را محدود کنید.
- گزینههای
--disaggregation-enable-kv-checksumو--kv-canaryرا، اگر مدل پشتیبانی میکند، روشن کنید و در لاگها تأیید کنید که درخواستها بررسی میشوند. - load balancer را طوری تنظیم کنید که پیش از اولین توکن درخواست را abort نکند.
برای مرور مفاهیم دیگر زیرساخت هوش مصنوعی، میتوانید مطلب Web Search API و AI Gateway در Cloudflare و خبر استریم رویداد K2 در Cloudflare را هم ببینید.




دیدگاهها
دیدگاهها پس از بررسی تحریریه منتشر میشوند. توهین، تبلیغ و لینکهای بیربط حذف میشوند؛ نقد فنی و مستند همیشه خوشآمد است.
هنوز کسی چیزی ننوشته. اولین دیدگاه را شما ثبت کنید.