Ternary Bonsai 開源了,8B模型才1.75GB,iPhone上能跑27 tok/s,離譜。

查看原文
ME News
PrismML推出1.58比特模型Ternary Bonsai,參數縮減9倍智能度反超同類
PrismML 發布 Ternary Bonsai 系列,採用 1.58 比特權重 {-1,0,+1},顯存僅為 16 位模型的九分之一。8B/4B/1.7B 三種規模已在 Hugging Face 開源,並原生跑在 Apple 設備。8B 權重約 1.75 GB,基準分 75.5,領先同類。iPhone 17 Pro Max 上 8B 速率 27 tok/s,能效比提升 3–4 倍。權重以 Apache 2.0 分發,通過 MLX 框架在 Apple 設備原生運行。
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆