Cloudflare میگوید در GLM 5.3 روی Workers AI، ۱۵۵ پاسخ حاوی داده درخواستهایی بود که اندکی پیشتر مشتریان دیگر به همان مدل فرستاده بودند.
همه پاسخهای آسیبدیده به پرامپتهایی بلندتر از ۶۸۱٬۲۸۰ توکن داده شدند. مدل دیگری در Workers AI تحت تأثیر نبود.
حافظه KV در گره prefill از زمینه مدل (۱٬۰۴۸٬۵۷۶ توکن) کوچکتر بود و باگ SGLang درخواست بیشازحد بلند را رد نمیکرد.
Cloudflare اندازه pool را حدود ۲٫۰۴ میلیون توکن کرد و وصله SGLang را به بالادست فرستاد. مدل ۹ سپتامبر دوباره عمومی شد.
اندازه KV pool را با طول زمینه مقایسه کنید و به SGLang v0.5.22 یا جدیدتر بروید.
Cloudflare تأیید کرد نشت KV cache در GLM 5.3 روی Workers AI داده مشتریان دیگر را در ۱۵۵ پاسخ نشان داد؛ علت، رفع و چکلیست SGLang خودمیزبان.