A competição em IA passa de modelos para sistemas de encaminhamento eficientes em custos

As empresas de IA estão a deslocar o foco da concorrência do tamanho dos modelos para sistemas de encaminhamento (routing) mais rentáveis, à medida que as organizações passam de testes para a implementação em produção. O CEO da Perplexity, Aravind Srinivas, disse à CNBC que o modelo, por si só, já não é o produto, sublinhando sistemas de orquestração que combinam modelos com ferramentas para tarefas específicas. A mudança reflecte o aperto do investimento em IA por parte da América corporativa: as empresas procuram modelos adequados às tarefas, em vez de recorrerem sempre às opções mais caras.

Perplexity Previews System Using Chinese Open Model

A Perplexity apresentou esta semana uma nova solução para o seu produto de uso de computador, construída em torno do GLM 5,2, um modelo aberto da Z.ai, da China. O sistema foi concebido para permitir que um modelo mais barato faça grande parte do trabalho, recorrendo a um modelo mais forte apenas quando necessário.

“O modelo, por si só, já não é o produto”, disse Srinivas à CNBC. “É o equipamento, o sistema de orquestração que coloca o modelo dentro de um equipamento muito capaz e combina o modelo com muitas ferramentas.”

Os produtos de IA estão a tornar-se sistemas que conseguem decidir que modelo usar, quando usá-lo e que ferramentas externas ou fontes de dados da empresa são necessárias. Uma tarefa de apoio ao cliente poderá não exigir o modelo mais caro, enquanto um problema complexo de programação poderá sim. Um fluxo de trabalho interno de rotina pode correr num modelo aberto mais barato, com as etapas mais difíceis a serem escaladas para opções mais poderosas.

Benchmark Partner Predicts Open-Weight Token Dominance

Os modelos de peso aberto (open-weight), que as empresas conseguem descarregar, ajustar (tune) e executar por si próprias, estão a tornar-se mais capazes e mais baratos de correr do que os modelos proprietários premium dos maiores laboratórios de IA.

O parceiro geral da Benchmark, Peter Fenton, disse à CNBC que a sua convicção é que 90+% dos tokens criados acabarão por sair de modelos de peso aberto nos próximos 18 a 24 meses, possivelmente já até ao fim do ano. Os tokens são as unidades de dados que os modelos de IA processam e geram.

“As margens de inferência geradas pelas empresas de modelos de fronteira, penso que vão ficar sob pressão quando os conseguirem correr sem a margem (markup) que eles estão a aplicar, quando tiverem modelos suficientemente bons a partir de pesos abertos”, disse Fenton.

Fenton afirmou que a mudança para modelos abertos não se resume apenas a poupar dinheiro. Em alguns casos, modelos mais pequenos, ajustados para uma tarefa específica, podem ser mais rápidos e ter melhor desempenho do que modelos maiores de propósito geral.

Ollama Reports Fortune 500 Adoption Rate

A Benchmark investiu na Ollama, uma empresa que facilita para programadores e empresas descarregar, executar e gerir modelos abertos.

O CEO da Ollama, Jeff Morgan, disse que a empresa já foi adoptada por mais de 85% das empresas da Fortune 500, incluindo empresas em sectores regulados como a aviação, seguros e cuidados de saúde.

“Uma coisa é de onde vem o modelo e onde foi criado e treinado”, disse Morgan. “Mas a coisa mais importante para os negócios com que falamos é onde ele corre e como corre.”

Morgan disse que muitas empresas começam com modelos mais pequenos a correr perto dos seus próprios dados e depois expandem para modelos abertos maiores à medida que ganham confiança.

Chinese Labs Create Strategic Competition in Open Models

O crescimento dos modelos abertos cria um desafio estratégico para os EUA. Muitos dos modelos de peso aberto mais competitivos estão a chegar de laboratórios chineses, incluindo Z.ai e DeepSeek. Isso transformou a IA de código aberto num assunto de negócio, num assunto de política e num assunto de competitividade nacional.

Srinivas disse que os EUA devem apoiar os modelos abertos porque os tornam a IA mais acessível e mais barata.

“Se quiser que os benefícios da IA se distribuam amplamente a pequenas empresas na América e nos países aliados dos EUA, então precisa mesmo de tornar a IA muito mais acessível”, disse Srinivas. “E o código aberto é a única forma de o fazer.”

A mudança poderá também afectar a enorme expansão dos centros de dados que está em curso por toda a indústria tecnológica. O actual boom da IA assume que a procura continuará a seguir para grandes centros de dados na cloud, cheios de chips topo de gama. Srinivas afirma que algum trabalho de IA poderá, eventualmente, correr localmente, em dispositivos detidos por consumidores ou empresas.

Isso não eliminaria a necessidade de centros de dados, mas poderia criar um sistema de IA mais híbrido: tarefas de rotina a correr localmente e o trabalho mais difícil a ser enviado para um modelo mais poderoso na cloud.

FAQ

What did Perplexity preview this week regarding AI models?

Perplexity apresentou esta semana uma nova solução para o seu produto de uso de computador, construída em torno do GLM 5,2, um modelo aberto da Z.ai, da China. O sistema foi concebido para permitir que um modelo mais barato faça grande parte do trabalho, recorrendo a um modelo mais forte apenas quando necessário.

Why are companies shifting from using the biggest AI models to routing systems?

À medida que as empresas passam de testes de IA para a utilização em produtos e fluxos de trabalho reais, precisam de aceder a modelos que sejam os mais adequados para trabalhos específicos ao custo certo, em vez de recorrerem sempre aos modelos mais caros. A América corporativa também está a apertar o cinto nos gastos com IA, tornando a eficiência de custos uma prioridade.

How many Fortune 500 companies have adopted Ollama?

O CEO da Ollama, Jeff Morgan, disse que a empresa já foi adoptada por mais de 85% das empresas da Fortune 500, incluindo empresas em sectores regulados como a aviação, seguros e cuidados de saúde.