
OpenAI 共同創辦人、前特斯拉 AI 總監 Andrej Karpathy 於 5 月 19 日在 X 上宣布加入 Anthropic,本週開始帶領團隊主導 Claude 預訓練研究。Anthropic 確認,預訓練是賦予 Claude 核心語言能力的基礎訓練階段,也是整個 AI 模型建構流程中運算成本最高的環節。
預訓練職責確認:賦予 Claude 核心能力的最昂貴階段
Anthropic 官方聲明確認,Karpathy 負責 Claude 的預訓練研究,即以大規模語料對模型進行基礎訓練,決定其語言理解與推理的核心能力。Karpathy 曾在 2024 年將 AI 編碼代理與小型語言模型結合,在 2 天內完成 700 次實驗,成功將大型模型訓練時間縮短 11%,此自動化研究方法業界稱為「Karpathy Loop」。
Karpathy 的職涯軌跡:從 OpenAI 到 Anthropic 的路徑
Karpathy 是 2015 年 OpenAI 的共同創辦人之一。2017 年,Elon Musk 在同時兼任特斯拉與 OpenAI 董事期間將他挖角至特斯拉擔任 AI 總監,主導自動輔助駕駛電腦視覺團隊。法院文件顯示,Musk 當時評價 Karpathy 為全球電腦視覺第二把交椅,並表示:「OpenAI 的人會想殺了他,但這是必須做的事。」
Karpathy 於 2022 年離開特斯拉,短暫回到 OpenAI,隨後創辦 AI 教育新創公司 Eureka Labs。他也是「Vibe Coding」的提出者——用戶透過提示詞向 AI 寫碼助手下指令,無需直接編寫程式碼,這一概念迅速成為 AI 開發社群的通用術語。
Anthropic 本月確認的人事動態
Ross Nordeen(xAI 創始成員)加入 Anthropic 的時間早於 Karpathy 本月宣布。Anthropic 同時確認,曾任職 Yahoo 與 Meta、具備 20 年資安經驗的 Chris Rohlf 加入前沿紅隊,參與壓力測試工作。Nordeen 宣布加入的同日,Anthropic 與 SpaceX 達成協議,租用 xAI 的運算容量。Anthropic 由七名 OpenAI 前員工於 2021 年共同創立,包括現任執行長 Dario Amodei 與現任總裁 Daniela Amodei。
常見問題
預訓練在 AI 模型開發中扮演什麼角色,為何成本如此之高?
預訓練是以大規模語料對 AI 模型進行基礎訓練的過程,決定模型的語言理解、推理與知識積累。訓練過程需要大量 GPU 算力持續運算數周至數月,是整個 AI 模型開發流程中算力消耗最大、費用最高的環節,也是後續微調(Fine-tuning)與安全對齊(Alignment)訓練的前提基礎。
Vibe Coding 的具體概念是什麼,Karpathy 如何定義它?
Vibe Coding(氛圍編碼)是 Karpathy 提出的 AI 輔助開發方式——用戶主要負責構思創意與邏輯,透過自然語言提示詞指令 AI 寫碼助手生成程式碼,無需自行撰寫。這一概念提出後迅速成為 AI 開發社群廣泛採用的術語,代表以 AI 為核心的人機協作程式設計模式。
Anthropic 與 OpenAI 有何具體的創立關聯?
Anthropic 由七名 OpenAI 前員工於 2021 年共同創立,包括 Dario Amodei(現任執行長)和 Daniela Amodei(現任總裁)。此後陸續有 OpenAI 前員工加入,包括 John Schulman 於 2024 年轉投 Anthropic,以及此次 Karpathy 的加入。