美国企业正在采用模型路由来控制人工智能（AI）支出，因为首席财务官（CFO）和董事会正在打击低效的 AI 成本。该转变回应了一个在两年间的默认做法之后出现的问题：不论查询的复杂程度如何，所有请求都转向最强大的 AI 模型。如今，AI 账单远远超出预算，促使公司追问是否每项任务都需要前沿模型。模型路由会将任务匹配到合适的模型：将复杂问题导向昂贵的前沿系统，并将常规任务导向更便宜的替代方案。这种变化有可能重塑 AI 行业的定价动态。
模型路由将任务匹配到成本合适的 AI 系统
模型路由是一种工具，用于将棘手问题导向昂贵的前沿模型，而将容易任务交给更便宜、更快的替代方案。Cognition 的 CEO Scott Wu（其打造了代码代理 Devin）表示，公司可以在日常工作中使用仍足以完成任务的模型，实现比传统方式更好的成本效率，提升幅度可达 5 到 10 倍。Wu 给出了一个例子：让模型说出美国第三任总统——无论成本如何，每个模型都会回答 Thomas Jefferson。
Glean 的 CEO Arvind Jain 估计，目前约 95% 的企业 AI 使用仍运行在最昂贵的前沿模型上，即使是那些更便宜的替代方案也能轻松处理的任务。受访高管表示，绝大多数公司根本没有在做模型路由。
思科报告：为 90,000 名员工每年 AI 成本 9 亿美元
思科的首席产品官 Jeetu Patel 提供了具体成本数据。按每名员工每周代币使用约 200 美元计算，年支出约为每人 10,000 美元。对思科 90,000 名员工而言，这相当于每年 9 亿美元。
Patel 表示，公司超出了自身预算，且不得不进行调整。如今，该公司有 30,000 名工程师在构建产品，这些产品大多由 AI 编写。思科已重新分配资源，把代币（tokens）置于其他支出之上。
Cognition 推出 1000 万美元 AI 效率担保
Cognition 宣布了 AI 效率担保，以回应客户对投资回报（ROI）的担忧。如果 Devin 交付的工程价值低于客户为之支付的费用，Cognition 将为使用量出资，最高可达 1000 万美元，直到绩效达到预期。Wu 将这项担保表述为一种方式：让关注点放在产出而非诸如代币消耗或代码行数之类的活动指标上。
向模型路由的转变，给 OpenAI 和 Anthropic 带来了压力。这两家公司的商业模式以及其 IPO 预期都建立在高价、巨量需求之上。如果公司将高频的常规工作引导至更便宜的开源模型，那么前沿实验室只会因复杂任务而获得付款。Patel 表示，尖端技术仍将保持价值，但他预计定价模式将发生变化：实验室需要提升效率，而不是仅仅收费更高。
FAQ
什么是 AI 系统中的模型路由？
模型路由是一种工具，会根据任务的复杂程度将任务匹配到合适的 AI 模型。它会将困难问题发送到昂贵的前沿模型，并将常规任务导向更便宜、更快的替代方案。Cognition 的 Scott Wu 表示，采用这种方法，公司可以在日常工作中使用仍足以完成任务的模型，实现比传统方式更好的成本效率，提升幅度可达 5 到 10 倍。
思科为其员工在 AI 上每年花费多少？
思科在为其 90,000 名员工提供 AI 方面的年度支出约为 9 亿美元。思科的首席产品官 Jeetu Patel 基于以下数据计算了这一数字：每名员工每周代币使用约 200 美元，相当于每人每年约 10,000 美元。
