OpenAI 工程师 Clive Chan 挑战 V4 硬件建议,称其相较 V3 存在错误与模糊之处

Gate News 消息,4 月 24 日——OpenAI 工程师 Clive Chan 就 V4 技术报告中的硬件建议章节提出了详细异议,称其“出人意料地平庸且容易出错”,与备受赞誉的 V3 版本相比尤为如此。V3 的硬件指导,其中包括问答(Q&A)环节,这些环节成为 ISCA 学术会议上最受欢迎的讨论话题,并提供了与业界互连标准相匹配的具体建议。相比之下,V4 则要模糊得多。

Chan 系统性地质疑了三项关键建议。关于功耗,报告指出,软件优化允许芯片在同一时间以满负荷运行计算、存储与通信,并建议芯片制造商预留更多的功率余量。Chan 认为这适得其反:芯片的总功耗受物理工艺限制所约束,因此预留更大的功耗裕量只会降低工作频率,最终减少计算性能。关于 GPU 到 GPU 的数据传输,报告主张采用拉取(pull)模型——由 GPU 主动获取数据——而非推送(push)模型,并称在推送操作中存在较高的通知开销。Chan 则对此提出异议,认为拉取实际上更慢,并且更优的是提升网络适配器能力。然而,这两者可能在讨论问题的不同层面:报告谈的是通知机制的开销,而 Chan 指的是传输延迟本身。

关于激活函数,报告建议用更简单的函数来替换 SwiGLU,以降低计算负担。Chan 认为这没有任何价值,并指出 Sonic MoE 已经通过使用 SwiGLU 展示了最佳性能。Chan 怀疑 DeepSeek 可能“故意削弱了这一部分。”

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

与特朗普有关的 AI 金融收购 Block Street,金额 4300 万美元

据《财富》,AI Financial,这家与特朗普家族有关的加密货币公司此前名为 Alt5 Sigma,上周以 4300 万美元收购了 Block Street,一家加密基础设施公司。AI Financial 的顾问兼 Block Street 的首席执行官 Matthew Morgan 表示,该收购并非一项

GateNews14 分钟前

Riot 股票在扩展 AMD 数据中心合作后上涨 8%

Riot Platforms 的股价在其与 AMD 的数据中心合作扩展以及融资条件改善后上涨 8%,这反映了这家比特币矿企在战略上转向人工智能和数据中心

GateNews2小时前

明尼苏达州禁止 AI 非自愿色情影像工具,并处以最高 $500K 罚金

据 Decrypt 称,明尼苏达州议会于 5 月 2 日通过了一项法案,禁止网站和应用程序提供可生成未经同意的亲密图像的 AI 工具,且这些图像涉及可识别的个人。该法律禁止平台允许用户访问或使用此类“深度伪造”工具,并禁止

GateNews4小时前

ChatGPT 用户现在可在 OpenClaw 平台上访问订阅,萨姆·奥尔特曼宣布

根据 Sam Altman 今天的公告,ChatGPT 用户现在可以使用他们的 ChatGPT 账号登录 OpenClaw 代理平台,并直接访问他们在该平台上的现有 ChatGPT 订阅。

GateNews5小时前

xAI 推出 Grok 定制语音,让用户在一分钟内克隆自己的 AI 语音

据 Beating,xAI 发布了 Grok Custom Voices 和 Voice Library,允许用户在 xAI 控制台录制一分钟音频,以生成一个自定义的 voice_id,用于 Grok TTS 和 Voice Agent API。该功能支持包括客服代理、内容创作在内的应用,

GateNews6小时前

HBM 后 AI 存储器瓶颈是 HBF?图灵奖得主 David Patterson:推理将重新定义存储架构

图灵奖得主 David Patterson 指出,随着 AI 从训练走向大规模推理,下一波内存瓶颈可能不是 HBM,而是 HBF(高带宽快闪存储器)。HBF 将 NAND Flash 堆叠提供大容量、低功耗,负责推理中的上下文与中间数据存取,与以速度为核心的 HBM 分工不同。SK 海力士与 SanDisk 正推动标准化,预计 2038 年 HBF 的需求可能超越 HBM。

鏈新聞abmedia6小时前
评论
0/400
暂无评论