看了眼結果,最好的模型離人類還差一大截,冷靜了

查看原文
ME News
NUS團隊發布GameWorld基準,在34款瀏覽器遊戲中評估多模態AI代理
NUS 團隊發布 GameWorld 基準,包含34款瀏覽器遊戲、170項任務,配有可驗證指標以實現客觀評估。測試兩類代理接口:直接鍵鼠指令的 computer-use 與在語義空間操作的通用多模態代理。對18種模型-接口組合的實證顯示,即便表現最好者也遠不及人類,且在實時延遲、上下文記憶敏感度和動作有效性等方面存在挑戰。相關論文與程式碼已在 HuggingFace、GitHub 公開。
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆