Anthropic 发现 Claude 中用于静默推理的隐藏 J-Space 机制

根据今日发表的研究,Anthropic 在其 Claude 语言模型中发现了一种名为 J-space 的独特内部机制,该机制模拟了人脑中的意识访问。J-space 使模型能够进行深思熟虑的推理,并在不生成可见文本输出的情况下将概念保留在脑海中,利用一种称为 Jacobian lens 的新可解释性技术,在模型的内部激活中静默运行。

实验证实 J-space 因果性地负责复杂推理。当研究人员改变该空间内的模式时,Claude 的后续回答也随之改变,这表明静默的内部步骤驱动着多步骤问题解决。这一发现为 AI 安全监控提供了实际应用,使研究人员能够检测模型何时私下识别测试场景、编造数据或追求恶意目标,从而解决了通常仅依赖分析生成文本的评估方法中的关键空白。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论