A AMD lança um modelo Instella-MoE totalmente open-source com 16 bilhões de parâmetros em 25 de jul.

AMD-3,29%
De acordo com a BlockBeats, a AMD lançou em 25 de julho o modelo de mixture-of-experts (MoE) Instella-MoE com código totalmente aberto, com 16 bilhões de parâmetros totais e 2,8 bilhões de parâmetros ativados por token. O modelo base alcançou uma pontuação média de 76,7, ficando entre os principais modelos de linguagem de código aberto e superando SmolLM3-3B e OLMo-3-7B. Treinado em GPUs AMD Instinct MI300X e MI325X usando a stack de software ROCm, o Instella-MoE suporta comprimento de contexto de 64K tokens. A AMD vai disponibilizar publicamente todos os pesos do modelo, configurações de treinamento, distribuições de dados, checkpoints intermediários e código de inferência para impulsionar a pesquisa em modelos de IA.
Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários