AMD MI355X 以 NVIDIA B200 一半的成本实现 GLM 5.2 推理

据专注于推理优化的初创公司 Wafer 表示,搭载最新开源模型 GLM 5.2 的 AMD MI355X 芯片,其推理成本约为英伟达旗舰 B200 GPU 的一半,同时性能达到后者的约 80%。测试显示,单节点总吞吐量为每秒 2,626 个 token,单流吞吐量达到每秒 213 个 token。该优化利用了软件技术,包括模型量化、推理引擎选择和 ROCm 兼容性修复,而非定制硬件。

SemiAnalysis 的另一份报告证实了类似结果,指出 AMD MI355X 在交互场景下的推理成本为每百万 token 0.22 美元,低于英伟达 B200 的 0.30 美元。然而,AMD 的优势主要仍体现在单节点部署中;英伟达在多节点分布式系统和大型应用领域仍保持显著领先。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论