AMD publie un modèle Instella-MoE entièrement open source avec 16B paramètres le 25 juillet.

AMD-3,29%
D’après BlockBeats, AMD a publié le modèle mixture-of-experts (MoE) Instella-MoE, entièrement open source, le 25 juillet. Il comprend au total 16 milliards de paramètres, dont 2,8 milliards activés par token. Le modèle de base a obtenu un score moyen de 76,7, se classant parmi les principaux modèles de langage open source et surpassant SmolLM3-3B et OLMo-3-7B. Entraîné sur les GPU AMD Instinct MI300X et MI325X avec la pile logicielle ROCm, Instella-MoE prend en charge une longueur de contexte de 64K tokens. AMD publie publiquement tous les poids du modèle, les configurations d’entraînement, les distributions de données, les checkpoints intermédiaires et le code d’inférence afin de faire progresser la recherche sur les modèles d’IA.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire