MiniMax Merilis Sumber Terbuka Model MiniMax M3 Dengan 428 Miliar Parameter dan Konteks 1 Juta Token

Menurut Beating, MiniMax merilis secara open-source model multimodal native mixture-of-experts (MoE) MiniMax M3, dengan bobotnya di Hugging Face. Model ini memiliki 428 miliar total parameter dengan 23 miliar parameter yang diaktifkan per token, mendukung hingga 1 juta konteks token secara native. Tim pengembang merilis versi terkuantisasi MXFP8 dan mengintegrasikan dukungan untuk kerangka inferensi arus utama termasuk SGLang, vLLM, dan Transformers. MiniMax juga merilis secara open-source pustaka kernel lightweight MiniMax Sparse Attention (MSA), mencapai pra-pengisian 9x lebih cepat dan dekoding 15x lebih cepat pada konteks 1 juta token dengan optimasi arsitektur NVIDIA Blackwell.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar