A Apple está em negociações com a PrismML, uma startup apoiada pela Khosla Ventures, para avaliar uma tecnologia de compressão de modelos de IA que poderia permitir que modelos de IA poderosos rodem diretamente nos iPhones, disse à CNBC o CEO da PrismML, Babak Hassibi. Na terça-feira, a PrismML lançou publicamente versões comprimidas do modelo Qwen da Alibaba, reduzindo o modelo de cerca de 54 GB para menos de 4 GB, mantendo todos os 27 bilhões de parâmetros para dispositivos iPhone 15 ou mais recentes. As discussões buscam endereçar limitações na estratégia de IA da Apple, à medida que a empresa abriu o beta público do iOS 27 um dia antes, dando aos donos do iPhone acesso a uma Siri reformulada enquanto mantém mais processamento no dispositivo. Hassibi caracterizou as conversas como “bem no começo”, mas disse que “as coisas estão progredindo bem”, com a Apple e outras empresas avaliando a velocidade, a eficiência energética e o desempenho da tecnologia. A tecnologia poderia reduzir custos de computação em nuvem e reforçar a posição de privacidade da Apple ao permitir que recursos de IA funcionem sem conexões com a internet.
PrismML libera modelo Qwen comprimido com redução de 54 GB para 4 GB
A PrismML, um spinout do California Institute of Technology (Caltech), reduziu o modelo Qwen de código aberto da Alibaba de cerca de 54 GB para menos de 4 GB na terça-feira. A compressão permite que todos os 27 bilhões de parâmetros rodem em um iPhone 15 ou em um dispositivo mais recente. A startup reduz modelos de IA simplificando a forma como as informações internas são armazenadas, reduzindo cada valor de 16 bits para apenas um ou três valores possíveis. Hassibi comparou a abordagem ao movimento da indústria de chips de computação de oito bits para quatro bits.
Os modelos comprimidos usam entre 10 e 15 vezes menos memória, geram respostas de seis a oito vezes mais rápidas e consomem de três a seis vezes menos energia do que versões convencionais rodando em hardware existente, segundo a PrismML. Hassibi reconheceu que os modelos normalmente perdem alguns pontos percentuais de desempenho geral, com a recuperação factual enfraquecendo antes de habilidades como raciocínio, matemática e codificação. A PrismML está liberando duas versões comprimidas do modelo gratuitamente, projetadas para rodar em iPhones, MacBooks e PCs com Nvidia.
Apple avalia processamento de IA no dispositivo para reduzir dependência da nuvem
“Eles estão realmente avaliando nossa tecnologia agora”, disse Hassibi sobre a Apple. As discussões permanecem pouco claras sobre para onde isso vai, mas Hassibi disse que as coisas estão progredindo. A Apple pode enviar solicitações complexas para modelos baseados em nuvem, mas rodar mais IA diretamente no iPhone reduziria o atraso associado ao envio de dados a um servidor remoto, diminuiria custos de computação em nuvem e apoiaria a proposta de privacidade da empresa. A abordagem também permitiria que certos recursos funcionem sem conexão com a internet.
Carolina Milanesi, presidente e analista principal da Creative Strategies, disse que modelos menores poderiam permitir que a Apple levasse para o iPhone mais recursos exigentes, incluindo fotografia computacional, geração de vídeo e ferramentas de saúde ou condicionamento que dependem de dados pessoais sensíveis. “Quanto mais você consegue fazer no dispositivo, melhor”, disse ela, apontando dados de saúde e de medicação que os usuários gostariam de manter privados. A Apple já executa partes do sistema de IA localmente, incluindo tradução, algumas sumarizações e recursos ligados de perto a informações pessoais.
PrismML levantou US$ 16,25 milhões em rodada semente em março
A tecnologia surgiu do grupo de pesquisa de Hassibi no Caltech. A universidade detém as patentes subjacentes e as licencia de forma exclusiva para a PrismML. Em março, a empresa levantou uma rodada semente de US$ 16,25 milhões apoiada pela Khosla Ventures e outros investidores. Hassibi disse que o modelo Gemma de código aberto da Google é o próximo na fila, seguido por modelos muito maiores, incluindo os de laboratórios de fronteira que hoje, em geral, exigem hardware de data center.
Segundo a PrismML, a tecnologia poderia, no fim, se estender bem além de telefones e laptops para robótica, sistemas autônomos e outros produtos que precisam tomar decisões rapidamente sem depender de uma conexão com a nuvem. “É muito importante que a inteligência seja local e que consiga rodar rápido”, disse Hassibi. Horace Dediu, fundador da Asymco, disse que a Apple provavelmente tenta manter a grande maioria das interações comuns do Siri no dispositivo, enquanto reserva as tarefas mais exigentes para a nuvem.
Analistas questionam impacto na bateria e desempenho no mundo real
Tarun Pathak, diretor de pesquisa da Counterpoint Research, disse que o desempenho do modelo em prompts longos, o consumo de bateria durante multitarefas e a confiabilidade em milhões de solicitações serão críticos. “O teste final serão milhões de consultas, milhares de combinações de dispositivos e testes robustos em escala”, disse Pathak. Phil Solis, que lidera a pesquisa da IDC sobre processadores para clientes, disse que o consumo de energia pode ser a maior questão em aberto. Um modelo capaz o bastante para ser usado com frequência ou continuamente em segundo plano para tarefas do tipo agentes poderia drenar a bateria de um telefone mesmo que exija menos memória.
Gil Luria, analista da D.A. Davidson, disse que reduzir modelos não eliminaria a necessidade de processadores ou memória. Isso apenas poderia mover mais desses chips de data centers para telefones e outros dispositivos. “Não é que você não vai precisar do chip”, disse Luria. “Você ainda vai precisar da GPU, e ainda vai precisar da memória.” Ele acrescentou que rodar IA em dispositivos individuais pode, na prática, ser menos eficiente do que usar infraestrutura compartilhada de data center porque chips em telefones podem ficar ociosos grande parte do tempo.
A Morgan Stanley estima que o custo médio de memória dinâmica de acesso aleatório (DRAM) da Apple por bit poderia subir cerca de 190% ano a ano no ano fiscal de 2027, com custos de NAND em alta de cerca de 180%. A empresa espera que a Apple aumente o preço inicial de modelos comparáveis de iPhone 18 em cerca de US$ 200 para proteger margens. As ações da Micron despencaram em março depois que a Google publicou o paper TurboQuant sobre cortar o uso de memória sem prejudicar o desempenho do modelo, embora as ações mais tarde tenham se recuperado. Pathak disse que a combinação de IA na nuvem e no dispositivo pode oferecer uma experiência de IA mais completa, eficiente e centrada em privacidade, com tarefas complexas enviadas para a nuvem e tarefas sensíveis e críticas em latência executadas no dispositivo.
FAQ
O que a PrismML lançou na terça-feira?
A PrismML lançou publicamente versões comprimidas do modelo Qwen de código aberto da Alibaba na terça-feira. A empresa reduziu o modelo de cerca de 54 GB para menos de 4 GB, permitindo que todos os 27 bilhões de parâmetros rodem em um iPhone 15 ou em um dispositivo mais recente.
Como funciona a tecnologia de compressão da PrismML?
A PrismML reduz modelos de IA drasticamente simplificando a forma como as informações internas são armazenadas, reduzindo cada valor de 16 bits para apenas um ou três valores possíveis. Segundo a empresa, os modelos comprimidos usam entre 10 e 15 vezes menos memória, geram respostas de seis a oito vezes mais rápidas e consomem de três a seis vezes menos energia do que versões convencionais.
Por que a Apple está avaliando processamento de IA no dispositivo?
Rodar mais IA diretamente no iPhone reduziria o atraso associado ao envio de dados para um servidor remoto, diminuiria os custos de computação em nuvem e apoiaria a posição de privacidade da Apple. A abordagem também permitiria que certos recursos funcionem sem conexão com a internet, segundo a fonte.
