PrismML 發布 Bonsai 27B:首個可在 iPhone 上以 3.9GB 執行的 270 億參數模型

根據 Decrypt,PrismML 於 7 月 16 日發布 Bonsai 27B,這是首個可在消費級智慧型手機上運行的 270 億參數 AI 模型。該模型已壓縮至 3.9GB,並在 iPhone 17 Pro Max 上以每秒 11 個 token 的速度運作。這種壓縮技術將模型權重的精度從 16 位元浮點降為三值(+1 或 -1),使得二進位版本相較於全精度版本小了 14 倍。

PrismML 執行長 Babak Hassibi 表示,公司正就該壓縮技術與 Apple 進行早期洽談。該模型以 Apache 2.0 授權釋出,並計畫接著壓縮 Gemma。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆