هوش مصنوعی

نشت KV cache در GLM 5.3 روی Workers AI؛ ۱۵۵ پاسخ آسیب‌دیده

DevNA | devna.ir
۱ از ۵

۱۵۵ پاسخ با داده دیگران

Cloudflare می‌گوید در GLM 5.3 روی Workers AI، ۱۵۵ پاسخ حاوی داده درخواست‌هایی بود که اندکی پیش‌تر مشتریان دیگر به همان مدل فرستاده بودند.

۲ از ۵

فقط پرامپت‌های بسیار بلند

همه پاسخ‌های آسیب‌دیده به پرامپت‌هایی بلندتر از ۶۸۱٬۲۸۰ توکن داده شدند. مدل دیگری در Workers AI تحت تأثیر نبود.

۳ از ۵

علت: دو مشکل هم‌زمان

حافظه KV در گره prefill از زمینه مدل (۱٬۰۴۸٬۵۷۶ توکن) کوچک‌تر بود و باگ SGLang درخواست بیش‌ازحد بلند را رد نمی‌کرد.

۴ از ۵

رفع مشکل

Cloudflare اندازه pool را حدود ۲٫۰۴ میلیون توکن کرد و وصله SGLang را به بالادست فرستاد. مدل ۹ سپتامبر دوباره عمومی شد.

۵ از ۵

اگر SGLang اجرا می‌کنید

اندازه KV pool را با طول زمینه مقایسه کنید و به SGLang v0.5.22 یا جدیدتر بروید.

ماجرای کامل را در DevNA بخوانید

Cloudflare تأیید کرد نشت KV cache در GLM 5.3 روی Workers AI داده مشتریان دیگر را در ۱۵۵ پاسخ نشان داد؛ علت، رفع و چک‌لیست SGLang خودمیزبان.

خواندن مطلب کامل