A América corporativa adota a model routing para controlar a despesa com IA

A América corporativa está a adotar o routing de modelos para controlar a despesa com inteligência artificial, enquanto CFOs e conselhos apertam o cerco a custos de IA considerados ineficientes. A mudança aborda um problema que surgiu após dois anos de adoção por defeito dos modelos de IA mais poderosos para todas as consultas, independentemente da complexidade. As faturas de IA estão agora a disparar muito acima dos orçamentos, levando as empresas a questionar se cada tarefa exige modelos de fronteira. O routing de modelos faz corresponder cada trabalho ao modelo mais adequado, enviando problemas complexos para sistemas de fronteira caros e tarefas rotineiras para alternativas mais baratas. A mudança tem potencial para remodelar a dinâmica de preços na indústria de IA.

Model Routing Matches Tasks to Cost-Appropriate AI Systems

Model routing é uma ferramenta que encaminha problemas difíceis para modelos de fronteira dispendiosos e tarefas simples para alternativas mais baratas e rápidas. Scott Wu, CEO da Cognition, que desenvolve o agente de programação Devin, disse que as empresas podem atingir uma eficiência de custos cinco a 10 vezes superior em trabalho rotineiro usando modelos que continuam adequados para a tarefa. Wu deu o exemplo de pedir a um modelo para nomear o terceiro presidente dos EUA — cada modelo, independentemente do custo, responderá Thomas Jefferson.

Arvind Jain, CEO da Glean, estimou que cerca de 95% do uso de IA a nível empresarial está atualmente a correr nos modelos de fronteira mais caros, mesmo para tarefas que alternativas mais baratas conseguiriam tratar facilmente. A maioria das empresas não está a fazer routing, segundo executivos entrevistados esta semana.

Cisco Reports $900 Million Annual AI Cost for 90,000 Employees

Jeetu Patel, diretor de produto (chief product officer) da Cisco, apresentou números específicos de custos. Com cerca de $200 de uso de tokens por empregado por semana, a despesa anual atinge cerca de $10.000 por pessoa. Para os 90.000 empregados da Cisco, isso totaliza $900 milhões por ano.

Patel disse que a Cisco ficou muito acima do seu próprio orçamento e teve de ajustar. A empresa tem agora 30.000 engenheiros a construir produtos escritos em grande medida com recurso a IA. A Cisco realocou recursos, dando prioridade aos tokens em vez de outras despesas.

Cognition Introduces $10 Million AI Productivity Guarantee

A Cognition anunciou uma garantia de produtividade em IA em resposta às preocupações dos clientes sobre o retorno do investimento. Se o Devin entregar menos valor de engenharia do que um cliente está a pagar, a Cognition financiará o uso até $10 milhões até que o desempenho cumpra as expectativas. Wu enquadrou a garantia como uma forma de se focar no resultado em vez de métricas de atividade, como tokens consumidos ou linhas de código.

A mudança para o routing de modelos cria pressão para a OpenAI e a Anthropic, cujos modelos de negócio e expectativas para a IPO assumem uma procura enorme a preços premium. Se as empresas encaminharem grandes volumes de trabalho rotineiro para modelos de código aberto mais baratos, os laboratórios de fronteira recebem pagamento apenas por tarefas complexas. Patel afirmou que a tecnologia de ponta continuará a ter valor, mas previu que o modelo de preços irá mudar, exigindo que os laboratórios melhorem a eficiência em vez de simplesmente cobrarem mais.

FAQ

What is model routing in AI systems?

Model routing é uma ferramenta que faz corresponder tarefas a modelos de IA adequados com base na complexidade. Envia problemas difíceis para modelos de fronteira dispendiosos e encaminha tarefas rotineiras para alternativas mais baratas e rápidas. Scott Wu, da Cognition, afirmou que as empresas podem atingir uma eficiência de custos cinco a 10 vezes melhor em trabalho rotineiro com esta abordagem.

How much does Cisco spend annually on AI for its workforce?

A Cisco gasta aproximadamente $900 milhões por ano em IA para os seus 90.000 empregados. Jeetu Patel, diretor de produto da Cisco, calculou este valor com base em cerca de $200 de uso de tokens por empregado por semana, o que equivale a cerca de $10.000 por pessoa por ano.