輝達（NVIDIA）與 PrismML（Khosla Ventures 支持的創業公司）正洽談，評估能夠讓強大的 AI 模型直接在 iPhone 上運行的 AI 模型壓縮技術。PrismML 執行長 Babak Hassibi 向 CNBC 表示。PrismML 於週二公開釋出壓縮版的阿里巴巴 Qwen 模型，將模型規模從約 54 GB 降至少於 4 GB，同時保留供 iPhone 15 或更新裝置使用的全部 270 億參數（27 billion parameters）。這些討論旨在因應蘋果的 AI 策略限制，因為該公司在一天前推出 iOS 27 公開測試版，讓 iPhone 使用者可使用經大幅改造的 Siri，同時將更多運算留在裝置本地。Hassibi 將談判形容為「非常早期」，但表示「事情正在順利推進」，蘋果與其他公司正在評估該技術的速度、能源效率與效能。該技術可能降低雲端運算成本，並透過讓 AI 功能不需網路連線即可運作，來強化蘋果的隱私立場。
PrismML 釋出壓縮 Qwen 模型，從 54 GB 降至 4 GB
PrismML 是加州理工學院（California Institute of Technology）的衍生公司，週二將阿里巴巴的開源 Qwen 模型從約 54 GB 壓縮到少於 4 GB。該壓縮讓全部 270 億參數能在 iPhone 15 或更新的裝置上運行。這家新創透過簡化內部資訊的儲存方式來縮小 AI 模型，將每個數值從 16 位元降至僅一個或三個可能值。Hassibi 將這種做法比喻為晶片產業從 8-bit 轉向 4-bit 運算。
根據 PrismML 的說法，壓縮模型的記憶體用量比傳統版本少 10 到 15 倍，回應速度快 6 到 8 倍，耗電量則比在既有硬體上運行的傳統版本少 3 到 6 倍。Hassibi 承認模型通常會在整體效能上損失幾個百分點，事實回憶能力會先削弱，而推理、數學與編碼等技能則相對較能維持。PrismML 將免費推出兩個壓縮版本的模型，設計用於在 iPhone、MacBook 與輝達（Nvidia）運算型 PC 上執行。
蘋果評估裝置本地 AI 處理以降低對雲端的依賴
「他們現在真的正在評估我們的技術，」Hassibi 談到蘋果時表示。談論的後續走向仍不明確，但 Hassibi 說進展正在進行。蘋果可以將複雜請求送往雲端模型，但在 iPhone 上運行更多 AI 將降低傳送資料到遠端伺服器所帶來的延遲、降低雲端運算成本，並支援公司的隱私主張。該做法也能讓某些功能在不連上網路的情況下仍可運作。
Creative Strategies 的總裁兼首席分析師 Carolina Milanesi 表示，小型模型可能讓蘋果把更吃重的功能移到 iPhone 上，包括計算攝影、影片生成以及依賴敏感個人資料的健康或健身工具。她說：「你能在裝置上做得越多，就越好。」並指出使用者會希望保留私密的健康與用藥資料。蘋果已在本地運行其 AI 系統的一部分，包括翻譯、部分摘要，以及與個人資訊高度相關的功能。
PrismML 於 3 月募得 1,625 萬美元種子輪融資
該技術源自 Hassibi 在 Caltech 的研究小組。該大學擁有相關基礎專利，並將其獨家授權給 PrismML。3 月，公司募得 1,625 萬美元種子輪，投資方包括 Khosla Ventures 與其他投資人。Hassibi 表示，Google 的開源 Gemma 模型接下來將是下一階段，之後還會有更大型的模型，包括來自最前線實驗室的模型；而這些模型目前通常需要資料中心硬體。
根據 PrismML 的說法，該技術最終可能不只延伸至手機與筆電，也將用在機器人、自主系統與其他需要快速做出決策、且不必依賴雲端連線的產品上。Hassibi 說：「讓智慧在本地運行、並且能跑得很快，非常重要。」Asymco 的創辦人 Horace Dediu 表示，蘋果很可能正試圖讓絕大多數常見的 Siri 互動都在裝置本地完成，同時把最吃重的任務保留給雲端。
分析師質疑電池影響與真實世界效能
Counterpoint Research 的研究主管 Tarun Pathak 表示，模型在冗長提示下的表現、多人任務切換時的耗電量，以及跨越數百萬次請求的可靠性都將至關重要。Pathak 說：「最終的測試會是數百萬次查詢、上千種裝置組合，以及在規模化下的嚴密測試。」領導 IDC 客戶端處理器研究的 Phil Solis 表示，耗電量可能是最大的未解問題。若某個模型足夠強大，能在背景中被頻繁或持續用於類代理的任務，即使它需要的記憶體更少，也可能仍會耗盡手機電池。
D.A. Davidson 分析師 Gil Luria 表示，縮小模型不會消除對處理器或記憶體的需求。它可能只是把更多這些晶片從資料中心移到手機與其他裝置上。Luria 說：「並不是說你不需要晶片，你仍然會需要 GPU，你仍然會需要記憶體。」他補充說，在個別裝置上運行 AI 實際上可能比使用共用的資料中心基礎設施更不有效率，因為手機裡的晶片在大多數時間可能處於閒置狀態。
摩根士丹利（Morgan Stanley）估計，蘋果平均每位元的動態隨機存取記憶體成本，於 2027 財年將可能年增約 190%，而 NAND 成本也將上漲約 180%。該公司預期，為了保護利潤率，蘋果將把相當機型 iPhone 18 的起拍價上調約 200 美元。Micron 股價在 3 月因 Google 發布其 TurboQuant 論文、指出可在不影響模型效能的情況下削減記憶體用量而大跌，隨後股價又回升。Pathak 表示，雲端與裝置本地 AI 的結合能提供更完整、更有效率、且更注重隱私的 AI 體驗：複雜任務外包到雲端，而敏感且對延遲極為關鍵的任務則在本地執行。
常見問題
PrismML 週二釋出了什麼？
PrismML 週二公開釋出阿里巴巴開源 Qwen 模型的壓縮版本。公司將模型從約 54 GB 降至少於 4 GB，讓全部 270 億參數能在 iPhone 15 或更新的裝置上運行。
PrismML 的壓縮技術如何運作？
PrismML 透過大幅簡化內部資訊的儲存方式來縮小 AI 模型，將每個數值從 16 位元降至僅一個或三個可能值。根據該公司說法，壓縮模型的記憶體用量比傳統版本少 10 到 15 倍、回應速度快 6 到 8 倍，耗能量比傳統版本少 3 到 6 倍。
為什麼蘋果要評估裝置本地 AI 處理？
在 iPhone 上直接運行更多 AI 將降低傳送資料到遠端伺服器所帶來的延遲、降低雲端運算成本，並支援蘋果的隱私立場。根據來源，該做法也能讓某些功能在不連上網路的情況下仍可運作。
