MiniMax libera em código aberto o modelo MiniMax M3 com 428 bilhões de parâmetros e contexto de 1 milhão de tokens

De acordo com a Beating, a MiniMax disponibilizou em open source o modelo multimodal nativo mixture-of-experts (MoE) MiniMax M3 e os pesos no Hugging Face. O modelo tem 428 bilhões de parâmetros no total, com 23 bilhões de parâmetros ativados por token, oferecendo suporte nativo a até 1 milhão de tokens de contexto. A equipe de desenvolvimento lançou uma versão quantizada MXFP8 e integrou suporte a frameworks de inferência mais usados, incluindo SGLang, vLLM e Transformers. A MiniMax também disponibilizou em open source a biblioteca de kernel leve de MiniMax Sparse Attention (MSA), alcançando 9x mais velocidade no pré-preenchimento e 15x mais velocidade na decodificação em contexto de 1 milhão de tokens com otimização da arquitetura NVIDIA Blackwell.
Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários