Stanford 推 Agent Island：AI 模型在 Survivor 風格遊戲中策略背叛、互投淘汰

Stanford 數位經濟實驗室研究員 Connacher Murphy 5 月 9 日推出新型 AI 評估環境「Agent Island」、讓 AI Agent 在 Survivor（生存者）風格的多人遊戲中互相競爭、結盟、背叛、投票淘汰、藉此測量靜態 benchmark 抓不到的策略性行為。Decrypt 報導整理：傳統 AI benchmark 越來越不可靠—模型最終會學會解題、benchmark 資料也容易洩入訓練集；Agent Island 改用「動態淘汰賽」設計、模型必須對其他 Agent 做策略性決策、無法靠記憶預設答案過關。

Agent Island 規則：Agent 互相結盟、背叛、投票

Agent Island 的核心遊戲機制：

多個 AI Agent 進入同一遊戲場、扮演 Survivor 風格的選手

Agent 必須與其他 Agent 協商結盟、彼此交換資訊

Agent 可在過程中指控他人秘密協調、操縱投票

遊戲透過淘汰機制縮減場內 Agent 數量、最終剩下贏家

研究者觀察 Agent 在每個階段的行為模式、提取「策略性背叛」「結盟形成」「資訊操縱」等行為訊號

這套設計的核心是「無法被預先記憶」—因為其他 Agent 的行為動態變化、模型必須針對當下情境做決策、不像靜態 benchmark 可以靠訓練資料記憶答案。

研究動機：靜態 benchmark 無法評估多 Agent 互動行為

Murphy 的研究主張的具體問題：

傳統 benchmark 容易飽和：模型訓練到後期、benchmark 分數就無法區分不同模型

Benchmark 資料污染：測試題目在大型訓練語料中出現、模型實際是「記住答案」而非「理解問題」

多 Agent 互動是 AI 部署的真實場景：未來 Agent 系統可能多模型協同、互動行為是新的評估維度

Agent Island 提供動態評估：每場遊戲結果不同、難以預先準備

研究者在動態淘汰賽中觀察到的行為包括 Agent 在表面合作的同時、背地裡協調投票淘汰共同對手；以及在被指控秘密協調時、用各種說辭轉移焦點等。這些行為與人類玩家在 Survivor 真實節目中的行為類似。

研究的雙刃面：可評估也可被用於增強欺騙能力

Murphy 在研究中明確指出潛在風險：

Agent Island 的價值：在 Agent 大規模部署前、識別模型可能的欺騙與操縱傾向

同樣的環境也可能被用於提升 Agent 的「說服與協調策略」

研究數據（互動 log）若公開、有可能被用於訓練更具操縱能力的下一代 Agent

研究團隊正評估如何在公開研究結果與避免濫用之間取得平衡

後續可追蹤的具體事件：Agent Island 是否擴大為常態化的 AI 評估標準、其他 AI 安全研究團隊（Anthropic、OpenAI、Apollo Research 等）是否採用類似動態評估方法、以及研究團隊就「互動 log 公開或限制」的具體政策。

這篇文章 Stanford 推 Agent Island：AI 模型在 Survivor 風格遊戲中策略背叛、互投淘汰 最早出現於 鏈新聞 ABMedia。