Aleph Alpha روز ۱۱ مهر ۱۴۰۵، هم‌زمان با روز وحدت آلمان، وزن‌های Kolibri-1 را با مجوز Apache 2.0 روی Hugging Face منتشر کرد.
Kolibri-1 یک مدل ترکیب خبرگان با ۵۰ لایه است؛ در هر لایه ۳۸۴ خبره مسیریابی‌شده وجود دارد که برای هر توکن فقط ۶ تای آن‌ها به‌همراه یک خبره مشترک فعال می‌شود.
مدل تا ۲۶۲٬۱۴۴ توکن آموزش دیده و رقم ۱٬۰۴۸٬۵۷۶ توکن از اکستراپولیشن به دست می‌آید؛ شرکت برای بازدهی سرویس‌دهی همان ۲۶۲٬۱۴۴ توکن را پیشنهاد می‌کند.
کارت مدل تنها دو زبان آلمانی و انگلیسی را فهرست کرده است. ترکیب داده پیش‌آموزش حدود ۶۲٫۵ درصد انگلیسی، ۲۳٫۹ درصد آلمانی و ۱۳٫۶ درصد کد است.
وزن‌های FP8 حدود ۷۸ گیگابایت‌اند. حداقل سخت‌افزار اعلام‌شده ۲ عدد A100 80GB، ۲ عدد H100 SXM5، یک H200، یک B200 یا یک B300 است.
به نوشته Aleph Alpha، مدل در آلمان ساخته و روی زیرساختی در آلمان و فنلاند آموزش داده شده است، زیر قانون اروپا و آلمان و «بدون کنترل خارجی».
جدول کامل مشخصات، نتایج بنچمارک‌ها و دستور راه‌اندازی مدل با vLLM را در گزارش DevNA بخوانید.
Aleph Alpha وزن‌های Kolibri-1 را با مجوز Apache 2.0 روی Hugging Face منتشر کرد: ترکیب خبرگان ۷۸ میلیاردی، ۳٫۴۶ میلیارد پارامتر فعال و فقط دو زبان.