根據《巴倫週刊》報導，企業在2024年面臨意外的Token成本超支後，正重新評估其AI投資，定價透明度與預算控制成為華爾街的主要挑戰。
推理模型與AI代理是主要的成本驅動因素。推理模型在產生輸出前會執行冗長的內部計算，消耗遠比最終生成文字更多的Token。AI編碼代理的成本更高，完成同等任務所需的Token量是人類程式設計師的1000倍。許多公司現正實施儀表板來監控員工的AI使用情況，並轉向更具成本效益的模型，包括來自中國的低成本替代方案，或等待主要供應商的降價。更複雜的是，不同模型供應商對Token的計數方式不同——Anthropic的計數方法顯示使用量比競爭對手高出30-40%——這使得分析師難以追蹤AI的採用趨勢。
