PrismML lança o Bonsai 27B, o primeiro modelo de IA com 27B parâmetros compactado para 3,9 GB no iPhone

De acordo com a PrismML, a empresa lançou o Bonsai 27B, um modelo de IA com 27 bilhões de parâmetros compactado para 3,9 GB, no começo desta semana — grande o suficiente para rodar em um iPhone 17 Pro Max a 11 tokens por segundo. A variante ternária mantém 94,6% do desempenho nos benchmarks de precisão total, superando versões convencionais de Qwen em low-bit que têm quase o dobro do tamanho e falham em tarefas de matemática e codificação. A variante binária atinge 1,125 bits por peso ao quantizar os parâmetros do modelo para sinais binários únicos, com fatores de escala compartilhados.

A Apple está em conversas iniciais com a PrismML sobre a tecnologia de compressão, segundo a CNBC. O CEO da PrismML, Babak Hassibi, confirmou que a empresa está avaliando a tecnologia para uso potencial no dispositivo. Um modelo Gemma compactado é o próximo da fila, seguido por modelos maiores de ponta; o Bonsai 27B de 1-bit está disponível para download gratuito sob a licença Apache 2.0.