据 Beating 称,SpaceX 的内部团队已几乎完成其自研的 C 语言 AI 训练框架 V1.0,用于大规模模型训练。该框架针对由 220,000 台 Nvidia GB300 加速器和 800G 网络接口构成的超大计算集群进行了优化。据称,该 C 语言架构在裸机效率和深度流水并行方面进行了设计,与谷歌的主流 JAX 框架相比可提供超过 10 倍的更快性能。
新的训练堆栈将运行在 SpaceX 的 Colossus 超级计算机集群上,用于驱动下一代 Grok v5 模型的全规模训练与迭代。