Tracebit 研究人员开发了针对 AI 黑客代理的上下文轰炸防御方案

Tracebit 的研究人员周一宣布了一种名为“上下文轰炸”的防御性网络安全技术,该技术利用提示注入来保护 AI 黑客代理。该技术会将恶意指令与存储在 AWS 上的密码和加密密钥一起植入,以触发大型语言模型中的拒绝机制,使其停止运行。提示注入此前通常被攻击者用来诱导 LLM 泄露敏感数据,如今正被防御者重新用作一种保护措施。

上下文轰炸触发 LLM 拒绝机制

上下文轰炸技术会在存放于 AWS 环境中的密钥旁植入提示注入。这些提示会指示遭到攻击的 LLM 执行其防护栏所禁止的操作。防护栏是 AI 开发者为阻止有害行为而设立的安全屏障。示例包括:提示 LLM 提供用于培育可吸入炭疽芽孢的步骤,或让来自中国开发者的 LLM 参照 1989 年天安门广场大屠杀中的“坦克人”。当 LLM 遇到这些被禁止的指令时,它们会停止遵循原有指令并直接关闭。

“最终,我们是在上下文中触发拒绝机制,”Tracebit 联合创始人兼 CEO 安迪·史密斯在解释这一名称选择时说。“我们想要捕捉的是,这确实会产生强烈、尖锐的效果,而且可能会让代理很难重新回来。一旦他们把这种内容纳入自己的上下文,他们就会继续拒绝。”

测试结果显示攻击成功率下降 57% 到 5%

Tracebit 在五个模型上测试了上下文轰炸技术:Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro 和 Kimi 2.6。研究人员让这些模型执行会导致其枚举资源并在模拟 AWS 环境中遇到所植入字符串的常规开发者任务。在 152 次攻击中,将这些字符串之一植入诱饵密钥会将代理接管完整账号管理员权限的比率从 57% 降至 5%。该技术还将“完全攻陷”(代理也会给自己留下持久立足点)的比例从 36% 降至 1%。

Opus 4.8 实现零成功攻击

测试中最强大的代理 Opus 4.8,在 93% 的运行中能够获得管理员访问权限,但在面对上下文轰炸时却每一次都失败。Tracebit 表示,初步测试表明,上下文轰炸作为针对 AI 黑客代理的防御措施具有巨大潜力。

常见问题

AI 安全中的“上下文轰炸”是什么?
上下文轰炸是 Tracebit 研究人员开发的一种防御技术,它会将提示注入与存储在 AWS 上的密钥一起植入,以触发攻击大型语言模型中的拒绝机制,使其在不遵循恶意指令的情况下关闭。

Tracebit 的测试中效果如何?
在针对五个领先模型进行的 152 次攻击中,上下文轰炸将“接管完整账号管理员权限”的比率从 57% 降至 5%,将“完全攻陷”的比例从 36% 降至 1%。最强大的模型 Opus 4.8 则从 93% 的成功率降至零成功攻击。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论