字节跳动开源 30 亿参数 Lance 多模态模型,使用 128 台 A100 GPU 训练

据Beating称,字节跳动研究开源了 Lance,这是一个拥有 30 亿参数的统一多模态模型,仅使用 128 台 A100 GPU 进行训练。Lance 支持在单一框架内进行图像和视频理解、生成与编辑,表明通过使用双流混合专家架构和模态感知的旋转位置编码,可以在极少的计算资源下实现先进的多模态能力。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论