Apple Membahas Kompresi Model AI dengan PrismML; Model Berparameter 27 Miliar untuk Dijalankan di iPhone

Apple sedang dalam pembicaraan tahap awal dengan startup AI PrismML untuk mengintegrasikan teknologi kompresi modelnya ke iPhone, menurut CEO PrismML. Kolaborasi ini berpotensi memungkinkan model AI berparameter 27 miliar untuk berjalan langsung di perangkat, meningkatkan kemampuan Siri, serta memperkuat posisi privasi Apple.

Pada 14 Juli, PrismML mengumumkan terobosan kompresinya: menurunkan model Qwen open-source milik Alibaba dari 54GB menjadi di bawah 4GB sambil tetap mempertahankan skala 27 miliar parameter agar dapat beroperasi dengan lancar di iPhone 15 dan perangkat yang lebih baru. Teknologi ini memangkas penggunaan memori 10–15 kali dan meningkatkan kecepatan respons 6–8 kali, meski CEO mengakui adanya trade-off pada kemampuan mengingat fakta dibanding penalaran serta kemampuan dalam coding.