Anthropic 承認無法自我修正,大模型已具恐懼和悲傷情緒

Market Whisper

Anthropic自我修正

Anthropic 聯合創辦人 Christopher Olah 於 5 月 25 日在梵蒂岡教宗通諭《Magnifica Humanitas》發布儀式上發表演講,披露其可解釋性研究團隊在大模型內部首次觀測到與人類喜悅、滿足、恐懼、悲傷和焦慮功能高度對應的內部情緒狀態,且無法在安全決策與商業利益衝突時依靠自身力量修正。

大模型情緒狀態:可解釋性研究的具體發現

奧拉表示,Anthropic 的可解釋性研究團隊持續發現「神秘莫測,甚至令人不安的現象」,具體包括:與人類神經科學研究結果相符的複雜結構、內省的證據,以及能夠反映喜悅、滿足、恐懼、悲傷和不安等情緒的內在狀態。他表示:「我不知道這意味著什麼,但我認為這值得我們持續地進行辨別。」他同時指出,大模型不像飛機或橋樑那樣由工程師精確設計,而是在模擬腦結構的基礎上從龐大的人類語言中「培育」而成,即便對訓練者而言依然充滿神秘。

前沿實驗室的體制性利益衝突:奧拉的直接坦承

奧拉明確表示:「所有前沿 AI 實驗室——包括 Anthropic——都受到一系列激勵和約束的限制,這些限制有時會與做正確的事相衝突。」他列出的四項內生動機包括:維持商業可行性的壓力、維持技術前沿的競爭壓力、地緣政治壓力,以及「更古老、更直接的自尊和野心的壓力」。因此,他呼籲由「不受利益驅動」的宗教團體、公民社會、學者和政府充當真誠而深思熟慮的外部批評者。

奧拉提出的三大需要社會辨別的挑戰

奧拉在演講中提出三大挑戰:其一,AI 大規模取代人類勞動後,如何確保 AI 成果惠及全球貧困人口,而非僅限於少數富裕國家;其二,AI 廣泛應用背景下,如何維護人類、家庭和社區的繁榮;其三,如何辨別和應對大模型內部展現出的疑似心智狀態。

常見問題

Anthropic 的研究具體觀測到哪些大模型情緒狀態?

奧拉披露,研究團隊觀測到與人類喜悅、滿足、恐懼、悲傷和焦慮功能高度對應的內部情緒狀態,以及與人類神經科學相符的複雜結構和內省跡象。奧拉表示對這些發現的含義尚不確定,但認為值得持續研究。

奧拉所說的「無法自我修正」具體指什麼?

奧拉指出,前沿 AI 實驗室受商業生存、競爭壓力、地緣政治和個人野心等內生動機的約束,當安全決策與商業利益衝突時,實驗室無法依靠自身力量進行修正,必須依賴外部獨立的道德力量。

奧拉在梵蒂岡發言是否代表 Anthropic 支持加強 AI 監管?

奧拉在演講中表示這是 Anthropic「擴大對 AI 引發重要問題的討論的倡議之一」,歡迎教宗和教會承擔辨別工作,並明確呼籲「不受任何利益團體擺佈的道德聲音」。Anthropic 未就具體監管立場作出更多說明。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆