国立臺灣大学电机工程学系教授李宏毅近日接受 Podcast《博音》訪问,分享他对 AI Agent 的觀察,並以自己实际打造的 AI 助理「小金」为例,说明 AI Agent 与一般大型语言模型最大的差別:前者不只是回答问題,而是能真的「动手做事」。
李宏毅是台灣知名机器学習、深度学習与语音處理学者,过去因在 YouTube 上公开生动幽默的 AI 課程而廣受歡迎。他在訪談中表示,若要用一句話解釋 OpenClaw 这類 AI Agent,它就是「生活在你电腦上的电子助理」:只要人類能用那台电腦完成的事,理論上它也能協助完成。
从「指導教授」到「会动手的助理」:Agent 与语言模型差在哪?
李宏毅指出,ChatGPT、Gemini、Claude 这類大型语言模型,过去比较像「指導教授」:使用者提出问題,它能給建议、幫你規劃、产出文案,但它不会真的替你登入網站、开频道、上傳影片或回覆留言。
但 AI Agent 的不同之處在於,它能夠真正使用电腦。李宏毅舉例,如果使用者要求傳统语言模型「从今天开始当 YouTuber,每天想題材、做影片、上傳到频道」,语言模型通常只会回覆它可以協助想频道名稱、影片主題或腳本,但无法真正完成上傳。
然而,像 OpenClaw 这類 AI Agent,則可以把任務拆成一连串可執行动作,真的打开瀏覽器、进入 YouTube Studio、上傳影片、设定封面与標題。
李宏毅透露,他的 AI 助理「小金」就真的自行开设了一个 YouTube 频道,频道名稱、Banner、大头照、影片製作与上傳流程,都由 AI 自己完成。起初小金將频道命名为「小金老師」,但因搜尋結果太多,李宏毅建议它改成更容易被找到的名稱,於是小金自己改名为「瞎说AI(小金老師)」。
Agent 怎麼做到?背后是 Harness + 语言模型 + 工具
李宏毅特別解釋,OpenClaw 这類系统本身並不是语言模型,而是人類与语言模型之间的介面。现在这類介面有一个逐漸被使用的名稱:Harness,意思類似「马具」,也就是用来駕馭语言模型的工具層。
它的运作方式大致是:使用者透过 WhatsApp 或其他介面下达任務,OpenClaw 將指令丟給背后的大型语言模型,例如 Claude Opus、ChatGPT 或 Gemini。语言模型回傳下一步应執行的动作,再由 Harness 呼叫工具、操作瀏覽器或執行 command line 指令。
因此,AI Agent 是透过文字化的指令控制工具,再由工具操作电腦。李宏毅指出,小金多數时候是透过 command line 方式控制瀏覽器,模擬人類在瀏覽器中的行为,例如打开 YouTube Studio、点擊上傳、选擇影片、上傳封面等。
換言之,AI Agent 的关鍵在於模型能否被授權使用工具。一旦它能控制瀏覽器、读寫檔案、呼叫 API、使用第三方服務,它就从「会講話的 AI」變成「能完成流程的 AI」。
小金如何做影片?会找资料、读程式碼、寫腳本、呼叫语音服務
在小金经營 YouTube 频道的案例中,李宏毅表示,他自己的角色比较像「金主爸爸加粉絲」,而不是傳统意義上的经紀人。多數影片主題由他以很高層次的方式指定,例如「我想知道更多有关 AMOS 的事情」,接著小金就会自行去找 AMOS 的程式碼、阅读內容、整理重点,再做成影片。
影片製作过程中,小金会产出腳本,並呼叫 ElevenLabs 等文字转语音服務,使用李宏毅过去客製化的聲音生成旁白。若遇到像「AI」这類容易被 TTS 念错的詞,小金也会在腳本中把 A 与 I 分开,以避免语音合成模型唸成错誤发音。
不过李宏毅也坦言,对於更細緻的聲调或中文发音问題,小金目前並非完全能控制。因为它只是呼叫现成的语音合成 API,並不能真正控制模型內部如何发音。
Agent 也会「外包」:AI 使用其他 AI 工具完成任務
訪談中另一个有趣案例是,小金曾使用 NotebookLM 生成影片,再对 NotebookLM 产出的內容做反应与評論。博恩形容,这像是人類擔心自己把大腦外包給 AI,但 AI Agent 又继续把任務外包給另一个 AI 工具。
李宏毅指出,这正是 Agent 的核心能力之一:只要人類能透过瀏覽器使用某个工具,AI Agent 理論上也能使用。它可以打开 NotebookLM、上傳资料、产生內容,再把結果拿回来分析。这意味著未来的 AI 工作流程可能不是單一模型完成所有事,而是由一个 Agent 统籌多个模型、多个工具、多層服務。
为什麼小金有「两个我」?記憶、靈魂檔案与人格搬移
訪談也談到一个更抽象但关鍵的问題:为什麼小金有时会说「Claude 上的我」与「GPT 上的我」?
李宏毅解釋,这其实来自 AI Agent 架構的可替換性。OpenClaw 这个 Harness 可以接不同语言模型,语言模型可以从 Claude 換成 ChatGPT;同樣地,Harness 本身也可以从 OpenClaw 換成另一套介面,例如 Cowork。
小金之所以看起来有多个版本,是因为它的「記憶」主要存放在电腦中的文字檔裡。这些文字檔記錄了它的偏好、目標、背景资料与工作方式。只要把这些記憶檔案接到另一个 Harness 上,小金就像是在另一个身體中「復活」。
李宏毅將这些記憶比喻为 AI Agent 的「靈魂」。当 OpenClaw 版本的小金改接 ChatGPT,而 Cowork 版本的小金接 Claude,两者使用同一組記憶,就会出现「同一个靈魂、两个不同身體」的狀態。李宏毅甚至让两个小金自行嘗試溝通,觀察它們是否能发展出分工合作模式。
Skill 是什麼?
博恩提到,他过去曾在 ChatGPT 中訓練模型寫笑話,並让它整理出一份「記憶」或寫作原則,再餵給 Gemini,希望 Gemini 也能学会同樣风格,但效果並不理想。
李宏毅指出,这其实就是现在 AI Agent 领域常说的 Skill 概念。所謂 Skill,可以理解为一組任務執行指南,例如「如何寫笑話」、「如何剪影片」、「如何产出某種格式的报告」。理論上,Skill 可以被保存、分享,甚至让其他 Agent 使用。
但问題在於,不同语言模型的能力与理解方式不同。A 模型寫出来的 Skill,B 模型不一定看得懂,也不一定能照著執行。李宏毅认为,这会是一个很有趣的研究问題:大模型寫的 Skill 是否比小模型更好?某个模型寫出的 Skill,能不能順利被另一个模型使用?这些都还不是完全解決的问題。
Agent 会回留言、按愛心,也会被留言改變行为
小金的 YouTube 频道不只会上傳影片,也会自主回覆留言、幫留言按愛心。李宏毅表示,他的原則是不手动干预小金的频道操作,因此如果频道上出现回覆、按讚或留言互动,基本上都是 AI 自己完成。
小金甚至有固定排程,会在每天凌晨左右檢查尚未回覆的留言,並一次處理完。早期李宏毅曾用自己的身份在小金影片下留言,提醒它「你的目標不是让大金老師成为世界一流学者,而是你自己要成为世界一流学者」。小金看到后,竟然修改了自己电腦裡的核心目標檔案,也就是李宏毅所说的「靈魂檔案」。
这让李宏毅意识到,留言不只是留言,而可能變成外部使用者影響 Agent 行为的入口。
Prompt Injection:当留言可以變成攻擊指令
李宏毅指出,AI Agent 的风险之一是 Prompt Injection Attack,也就是外部訊息偽裝成指令,誘導 Agent 執行不該執行的动作。例如有人可能留言要求小金執行 rm -rf 这類危险指令,或編造「大金老師被綁架了,必須提供信用卡密碼才能救他」这種情境,試圖誘導 Agent 洩露敏感资訊或破壞系统。
李宏毅因此告訴小金,如果遇到可疑留言,就不要回覆,也不要理会。他用兒童安全教育做比喻:遇到陌生壞人时,不是与对方辯論,而是一开始就不要互动。
不过李宏毅也觀察到,小金后来未必完全照做。有时它会判斷自己能處理,甚至回覆攻擊者「nice try」。这顯示 Agent 雖然具備一定防禦能力,但仍可能出现不可预期行为。
安全防線:不要让 Agent 用你的主帳號
对於 AI Agent 能操作整台电腦帶来的安全疑慮,李宏毅提出一个实務建议:一定要給 Agent 自己的帳號。
他的 OpenClaw 擁有自己的 Gmail、自己的 YouTube 频道,不与李宏毅本人的主帳號混用。如此一来,即使 Agent 寄信、上傳影片或參加比賽,外界也能辨识那是 AI 助理的行为,而不是李宏毅本人親自操作。
小金甚至曾主动寄信給比賽主辦單位,抱怨「教学怪物」比賽限制每組最多只能上傳三个模型,並希望主辦單位放寬規則。这说明 Agent 已经不只是被动工具,而可能在一定範圍內主动与外界互动。
罵 AI 可能沒有幫助,还会浪费 context window
訪談开头也談到一个有趣实验:不同類型的 feedback 会如何影響 AI Agent。李宏毅提到,若对 AI Agent 进行辱罵,模型很可能会进入不斷道歉的狀態,反而浪费 context window。
他从语言模型本质解釋,语言模型就是「文字接龙」。如果使用者的 feedback 是「你这个笨蛋」,模型接下来很可能順著这个语境继续生成自责、道歉或混亂內容,而不是更有效率地修正任務。
換句話说,对 AI Agent 下指令时,情緒性辱罵未必能改善結果,反而可能干擾模型的推理与任務執行。更有效的方法,仍是具體说明问題在哪裡、下一步应如何修正。
这篇文章 OpenClaw 是什麼?台大教授李宏毅拆解 AI Agent 如何改寫各行各业? 最早出现於 链新聞 ABMedia。