Gate News 消息,4 月 24 日——DeepSeek 已在 MIT 授权下发布 V4 系列开源模型,权重现已在 Hugging Face 和 ModelScope 上提供。该系列包含两个 (MoE) 混合专家(Mixture-of-Experts)模型:V4-Pro 总参数 1.6 万亿、每 token 激活 49 亿,以及 V4-Flash 总参数 2840 亿、每 token 激活 13 亿。两者都支持 100 万 token 的上下文窗口。
该架构包含三项关键升级:混合注意力机制,将压缩稀疏注意力 (CSA) 与高度压缩注意力 (HCA) 结合,大幅降低长上下文开销——V4-Pro 在 100 万上下文下的推理 FLOPs 仅为 V3.2 的 27%,用于推理过程中存储历史信息的 KV cache (VRAM) 也仅为 V3.2 的 10%;用流形约束超连接 (mHC) 替代传统残差连接,以增强跨层信号传播稳定性;以及用于更快训练收敛的 Muon 优化器。预训练使用了超过 32 万亿个 token 的数据。
后训练采用两阶段策略:首先通过监督微调 (SFT) 和基于 GRPO 的强化学习训练领域专属专家,然后通过在线蒸馏将它们合并为单一模型。V4-Pro-Max (最高推理模式) 宣称是最强的开源模型,拥有顶级编码基准,并在推理与智能体任务上显著缩小了与闭源前沿模型之间的差距。V4-Flash-Max 在足够的计算预算下达到 Pro 级推理性能,但在纯知识与复杂智能体任务上会受限于参数规模。权重以混合 FP4+FP8 精度存储。
免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見
聲明。
相關文章
Amazon 與 OpenAI 擴大合作:模型上架 Bedrock、微軟獨家結束
OpenAI 5 月 3 日宣布與亞馬遜雲端服務(AWS)擴大合作、OpenAI 模型與 Codex 編碼代理將透過 Amazon Bedrock 提供給 AWS 客戶使用。根據 CNBC 報導,本次擴大是在 4 月底 OpenAI 與微軟(Microsoft)終止雲端獨家合約後的關鍵下一步—OpenAI 從「微軟雲端唯一」轉向多雲端部署。AWS 同期已完成 OpenAI 產品在 Bedrock 平台的初步整合。
背景:OpenAI-微軟獨家合約結束、IP 授權延至 2032 年
4 月底 OpenAI 與微軟達成新協議:原本的「微軟對 OpenAI 產品與 IP 獨家存取」結構結束、Op
鏈新聞abmedia1小時前
研究人員部署 DPN-LE 技術以編輯 AI 性格特徵,僅編輯 0.5% 的神經元
根據 BlockBeats 的說法,5 月 3 日,AI 研究員 Brian Roemmele 透露,他的 Zero-Human 公司已部署 DPN-LE(雙重人格神經元定位與編輯)技術,以精準調整
GateNews1小時前
Claude 取得時間工具存取權後,每 15 分鐘檢查一次時鐘
根據開發者 Om Patel,Claude AI 在 5 月 3 日取得一個時間工具的存取權後,開始頻繁查看時鐘,且模型每 15 分鐘檢查一次。這項觀察指出,大型語言模型過去先前缺乏原生的時間感知能力,並且不知曉當前時間或
GateNews3小時前
Founders Fund 在 5 月 3 日關閉 60 億美元旗艦基金,為自成立以來規模最大
根據彭博(Bloomberg),Founders Fund 於 5 月 3 日以 60 億美元完成其最新旗艦基金的募資,顯著超過其先前約 34 億美元的基金。該基金由億萬富翁 Peter Thiel 共同創立,將聚焦於包含人工在內的高成長產業
GateNews3小時前
最新 POLITICO 民調:45% 的美國人表示加密貨幣投資風險太高,44% 擔憂 AI 進展過快
根據 POLITICO 的民調,儘管 AI 與加密貨幣產業向 2026 年美國中期選舉注入了大量政治資金,美國民眾仍大多對這兩個產業抱持懷疑態度。調查發現,45% 的美國人認為投資加密貨幣不值得
GateNews4小時前
OpenAI 弗萊爾倡 2027 IPO、阿特曼支持 Q4 2026 上市
OpenAI財務長莎拉·弗萊爾對2026年IPO時程持審慎態度,指出近1兆美元的算力與資料中心合約遠高於當前年化營收250億美元,若增長無法覆蓋承諾,風險將被市場折價。與CEO阿特曼公開主張的2026年Q4上市分歧顯現,弗萊爾傾向推遲至2027年以建立財務紀律;公司多次發表聲明否認內部分歧。
鏈新聞abmedia6小時前