PrismML lança o Bonsai 27B: modelo de IA de 3,9 GB executa no iPhone

PrismML lançou Bonsai 27B no começo desta semana, um modelo de IA com 27 bilhões de parâmetros comprimido para 3,9 GB que roda no iPhone 17 Pro Max a 11 tokens por segundo. A variante ternária mantém 94,6% do desempenho dos benchmarks em precisão total, cabendo nas limitações de memória de smartphones, marcando a primeira vez que um modelo nessa faixa de capacidade ultrapassou o orçamento de memória de um dispositivo consumidor. O método de compressão, desenvolvido com propriedade intelectual do Caltech, reduz cada peso do modelo de 16 bits para um único valor de sinal, levando a variante binária a 1,125 bits por peso—14 vezes menor do que o original em precisão total.

A Tecnologia de Compressão Reduz os Pesos do Modelo a Valores de Sinal

O método de compressão reduz cada peso do modelo de 16 bits de precisão de ponto flutuante para um único sinal—+1 ou -1 na versão binária, um de três valores na variante ternária. Cada grupo de 128 pesos compartilha um fator de escala de 16 bits. O modelo ternário adiciona um estado zero para um pouco mais de poder expressivo e fica em 1,71 bits por peso. A variante ternária, em 5,9 GB, alcança cerca de 26 tokens por segundo em um laptop M5 Pro.

Não existe uma “saída” de maior precisão: embeddings, atenção e a cabeça completa do modelo de linguagem são comprimidos ponta a ponta. A maioria das versões quantizadas mantém algumas camadas sensíveis em precisão total, o que aumenta seu tamanho como troca por melhor qualidade. O modelo usa uma espinha dorsal híbrida de atenção em que aproximadamente 75% das camadas são lineares em vez de uma atenção quadrática completa, tornando um contexto de 262K tokens viável no dispositivo.

Em março, a PrismML lançou Bonsai 8B, um modelo de 1,15 GB que mostrou que a arquitetura de 1-bit poderia sobreviver com 8 bilhões de parâmetros. Ambos os modelos são gratuitos sob licença Apache 2.0.

Desempenho nos Benchmarks Teve Média de 80,49 em 15 Testes

Em 15 benchmarks avaliados em modo de thinking em GPUs NVIDIA H100—abrangendo conhecimento, matemática, codificação e uso de ferramentas—Ternary Bonsai 27B tem média de 80,49, ou 94,6% do modelo em precisão total. A versão de 1-bit atinge 76,11. AIME25 e AIME26, modelados sobre a American Invitational Mathematics Examination, chegam a 93,7% para Ternary Bonsai 27B versus 95,3% para Qwen 3,6B. Bonsai faz 86 pontos em codificação contra 88 do Qwen 3,6 e 77% em conhecimento geral contra 83 do Qwen 3,6.

A PrismML inclui uma camada de decoding especulativo DSpark junto ao modelo—aumentador leve que propõe blocos de tokens candidatos, os quais o modelo principal verifica em uma única passagem forward em vez de gerar token por token. Em um H100, isso adiciona um ganho de throughput de 1,37x sem mudança na qualidade da saída. No Apple Silicon, ainda não está habilitado por padrão.

Testes no Mundo Real Geram Código Funcional e Escrita Criativa

A fonte testou o Bonsai 27B em um jogo Zombie Type—um jogo de navegador de terror de digitação em primeira pessoa. Duas rodadas de codificação produziram detecção de colisão limpa, lógica de pontuação adequada e gráficos que se mantiveram consistentes. O modelo entende a estrutura cedo; na segunda passagem, ele refina em vez de reconstruir. Alguns modelos pareciam mais elaborados do que os do GPT 5.6 Sol.

Para escrita criativa, o Bonsai produz histórias com lógica interna consistente, ritmo e arco—no mesmo nível do Claude Haiku ou até do Sonnet, com menos esforço em prompts comparáveis. Os resultados não são particularmente imaginativos com prompts zero-shot.

A Apple Avalia Tecnologia para Uso no Dispositivo

A Apple está em conversas iniciais com a PrismML sobre a tecnologia de compressão subjacente, segundo a CNBC. O CEO da PrismML, Babak Hassibi, confirmou à CNBC que a empresa está em conversas iniciais com a Apple, que está avaliando a tecnologia de compressão para possível uso no dispositivo. Hassibi disse que um modelo Gemma comprimido é o próximo na fila, seguido por modelos de fronteira maiores.

FAQ

O que é o modelo Bonsai 27B da PrismML?
Bonsai 27B é um modelo de IA com 27 bilhões de parâmetros comprimido para 3,9 GB que roda no iPhone 17 Pro Max a 11 tokens por segundo. A variante ternária retém 94,6% do desempenho dos benchmarks em precisão total usando uma tecnologia de compressão desenvolvida com propriedade intelectual do Caltech, que reduz os pesos do modelo para valores de sinal.

Como o Bonsai 27B se sai em benchmarks?
Em 15 benchmarks avaliados em GPUs NVIDIA H100, Ternary Bonsai 27B tem média de 80,49, ou 94,6% do modelo em precisão total. Em testes matemáticos AIME, ele faz 93,7%; em tarefas de codificação, faz 86 pontos; e em conhecimento geral, faz 77%—tudo isso exigindo bem menos memória do que modelos comparáveis.