A América Corporativa Adota o Roteamento por Modelo para Controlar os Gastos com IA

A América corporativa está adotando roteamento de modelos para controlar os gastos com inteligência artificial, à medida que CFOs e conselhos impõem medidas contra custos ineficientes de IA. A mudança aborda um problema que surgiu após dois anos em que, por padrão, eram usados os modelos de IA mais poderosos para todas as consultas, independentemente da complexidade. As contas de IA agora estão muito acima dos orçamentos, levando as empresas a questionarem se cada tarefa exige modelos de ponta.

O roteamento de modelos encaixa os trabalhos nos modelos adequados, direcionando problemas complexos para sistemas de fronteira caros e tarefas rotineiras para alternativas mais baratas. A mudança tem potencial para remodelar as dinâmicas de preços na indústria de IA.

Roteamento de Modelos Une Tarefas a Sistemas de IA com Custo Adequado

Roteamento de modelos é uma ferramenta que direciona problemas difíceis para modelos de fronteira caros e tarefas simples para alternativas mais baratas e rápidas. Scott Wu, CEO da Cognition — que cria o agente de codificação Devin — disse que as empresas podem obter de 5 a 10 vezes mais eficiência de custo em trabalhos rotineiros usando modelos que continuam adequados para a tarefa. Wu deu o exemplo de pedir a um modelo para nomear o terceiro presidente dos EUA — cada modelo, independentemente do custo, responderá Thomas Jefferson.

Arvind Jain, CEO da Glean, estimou que aproximadamente 95% do uso corporativo de IA atualmente roda nos modelos de fronteira mais caros, mesmo para tarefas que alternativas mais baratas poderiam lidar facilmente. A maioria das empresas não está fazendo roteamento, segundo executivos entrevistados nesta semana.

Cisco Reporta US$ 900 Milhões de Custo Anual de IA para 90.000 Funcionários

Jeetu Patel, chief product officer da Cisco, forneceu números específicos de custo. Aproximadamente US$ 200 de uso de tokens por funcionário por semana, o gasto anual chega a cerca de US$ 10.000 por pessoa. Para os 90.000 funcionários da Cisco, isso totaliza US$ 900 milhões por ano.

Patel disse que a Cisco ficou bem acima do próprio orçamento e teve que ajustar. A empresa agora tem 30.000 engenheiros construindo produtos escritos majoritariamente com IA. A Cisco realocou recursos, priorizando tokens em vez de outros gastos.

Cognition Lança Garantia de Produtividade em IA de US$ 10 Milhões

A Cognition anunciou uma garantia de produtividade em IA em resposta às preocupações de clientes sobre retorno sobre investimento. Se Devin entregar menos valor de engenharia do que o cliente está pagando, a Cognition financiará o uso até US$ 10 milhões até que o desempenho atenda às expectativas. Wu enquadrou a garantia como uma forma de focar em resultados, e não em métricas de atividade, como tokens consumidos ou linhas de código.

A mudança em direção ao roteamento de modelos cria pressão para a OpenAI e a Anthropic, cujos modelos de negócio e expectativas para IPO assumem uma demanda enorme com preços premium. Se as empresas direcionarem grandes volumes de trabalho rotineiro para modelos open-source mais baratos, os laboratórios de fronteira só receberão pagamento por tarefas complexas. Patel afirmou que a tecnologia de ponta continuará valiosa, mas previu que o modelo de preços vai mudar: os laboratórios precisarão melhorar a eficiência, e não apenas cobrar mais.

FAQ

O que é roteamento de modelos em sistemas de IA?

Roteamento de modelos é uma ferramenta que faz a correspondência entre tarefas e modelos de IA adequados com base na complexidade. Ele envia problemas difíceis para modelos de fronteira caros e direciona tarefas rotineiras para alternativas mais baratas e rápidas. Scott Wu, da Cognition, afirmou que as empresas podem obter de 5 a 10 vezes mais eficiência de custo em trabalhos rotineiros usando essa abordagem.

Quanto a Cisco gasta anualmente com IA para sua força de trabalho?

A Cisco gasta aproximadamente US$ 900 milhões por ano com IA para seus 90.000 funcionários. Jeetu Patel, chief product officer da Cisco, calculou esse valor com base em cerca de US$ 200 de uso de tokens por funcionário por semana, o que equivale a cerca de US$ 10.000 por pessoa por ano.