微软上周二在其 M365 Copilot AI platform 中修补了一项被评为最高严重性的漏洞。周一，安全公司 Varonis 的研究人员在发现该漏洞后披露了他们的概念验证（proof-of-concept）漏洞利用如何能够从 Copilot 可访问的邮件中检索双因素认证代码以及其他敏感数据。根本原因在于 AI 机器人无法区分用户提供的指令与模型处理的第三方内容中嵌入的指令，导致微软以及其他 LLM 提供商无法阻止其产品对恶意数据检索请求作出响应。
Varonis 研究人员使用标记语言绕过 Copilot 的护栏
微软在 Copilot 中构建了护栏，以防止 LLM 提交网页表单、发送邮件以及采取类似可能导致窃取用户数据的操作。Varonis 研究人员通过使用标记语言（markup language）绕过了这些限制，它允许在不使用 HTML 标签的情况下向文本添加标题、列表和链接等格式元素。另一种绕过方法是将敏感数据包裹在诸如 和 的 HTML 标签中。两种情况下，包含该数据的网页请求都会被发送到攻击者的网页服务器，秘密信息会在日志中被捕获。
微软还实施了额外的护栏，包括将 Copilot 输出包裹在 代码块中，以便浏览器将其当作纯文本处理，并在未获明确批准的情况下限制 Copilot 可访问的网站。尽管 Copilot 拥有向 Microsoft 域发送请求的通用权限，但护栏会限制对不受信任网站的请求。
参数到提示注入（Parameter-to-Prompt Injection）漏洞利用 URL 查询参数
Varonis 设计了一条漏洞利用链，使用研究人员称为 Parameter-to-Prompt Injection 的方式来绕过这些护栏。该参数在此指的是 URL 中的 q，它用于标记一个已被包含进来的查询。Parameter-to-Prompt Injection 是提示注入（prompt injection）的近亲，两者区别在于恶意指令位于查询参数中，而不是位于邮件或其他不受信任内容中。
FAQ
微软上周二在 Copilot 中修补了什么漏洞？
微软在其 M365 Copilot AI platform 中修补了一项最高严重性的漏洞，该漏洞使黑客能够从 Copilot 可访问的邮件中检索双因素认证代码以及其他敏感数据。发现该漏洞的 Varonis 研究人员在周一披露了他们的概念验证漏洞利用。
Varonis 研究人员如何绕过 Copilot 的安全护栏？
Varonis 研究人员使用标记语言在不使用 HTML 标签的情况下添加格式元素，并将敏感数据包裹在诸如 和 之类的 HTML 标签中。他们还采用了 Parameter-to-Prompt Injection 技术，将恶意指令置于 URL 查询参数中，而不是置于邮件内容中，从而使包含用户数据的网页请求能够命中攻击者控制的服务器，并在日志中捕获到相关信息。
