Gate News 消息，4 月 24 日——DeepSeek 已在 MIT 授权下发布 V4 系列开源模型，权重现已在 Hugging Face 和 ModelScope 上提供。该系列包含两个 (MoE) 混合专家（Mixture-of-Experts）模型：V4-Pro 总参数 1.6 万亿、每 token 激活 49 亿，以及 V4-Flash 总参数 2840 亿、每 token 激活 13 亿。两者都支持 100 万 token 的上下文窗口。
该架构包含三项关键升级：混合注意力机制，将压缩稀疏注意力 (CSA) 与高度压缩注意力 (HCA) 结合，大幅降低长上下文开销——V4-Pro 在 100 万上下文下的推理 FLOPs 仅为 V3.2 的 27%，用于推理过程中存储历史信息的 KV cache (VRAM) 也仅为 V3.2 的 10%；用流形约束超连接 (mHC) 替代传统残差连接，以增强跨层信号传播稳定性；以及用于更快训练收敛的 Muon 优化器。预训练使用了超过 32 万亿个 token 的数据。
后训练采用两阶段策略：首先通过监督微调 (SFT) 和基于 GRPO 的强化学习训练领域专属专家，然后通过在线蒸馏将它们合并为单一模型。V4-Pro-Max (最高推理模式) 宣称是最强的开源模型，拥有顶级编码基准，并在推理与智能体任务上显著缩小了与闭源前沿模型之间的差距。V4-Flash-Max 在足够的计算预算下达到 Pro 级推理性能，但在纯知识与复杂智能体任务上会受限于参数规模。权重以混合 FP4+FP8 精度存储。
Related News
