سامانه ذخیرهسازی آنلاین OpenAI؛ طبق بخش اول، بیش از ۷۰ میلیون درخواست در ثانیه و بیش از ۵۰۰ پتابایت داده برای بیش از یک میلیارد کاربر هفتگی.
OpenAI میگوید میانه زمان خواندن سراسری از حدود ۱۲۰ به حدود ۱۰ میلیثانیه رسیده است؛ بهبودی ۱۲ برابری.
یک کش lookaside روی سرورهای Valkey نزدیک محل پردازش نگهداری میشود و با تغییرات Cosmos DB در عرض چند ثانیه باطل میشود.
کانتینر جدا برای هر سرویس جلوی بسیاری از قطعیهای سراسری را گرفت، اما همه تیمها را درگیر برنامهریزی ظرفیت کرد.
با محدودسازی کلیدهای داغ، اولویتبندی درخواستها و حالت serverless تازه، OpenAI دوباره به یک کانتینر مشترک رسید.
ایزولیشن بدون مدیریت ظرفیت، بار را روی تیمها میاندازد. مرزها را در پلتفرم بگذارید، نه در تصمیم هر تیم.
OpenAI در بخش دوم روایت ذخیرهسازی Habitat میگوید با کش، تکثیر منتخب داده و بازنویسی سرویس با Rust، میانه زمان خواندن سراسری را ۱۲ برابر کاهش داده است.