ByteDance publie en open source un modèle multimodal à 3 milliards entraîné sur 128 GPU A100

Selon Beating, ByteDance Research a open-sourcé Lance, un modèle multimodal unifié de 3 milliards de paramètres entraîné avec seulement 128 GPU A100. Lance prend en charge la compréhension, la génération et l’édition d’images et de vidéos au sein d’un seul cadre, démontrant que des capacités multimodales avancées peuvent être atteintes avec des ressources de calcul minimales en utilisant une architecture de mélange d’experts à deux flux et un encodage de position rotatoire adapté aux modalités.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire