L’Amérique d’entreprise adopte le routage de modèles pour contrôler les dépenses en intelligence artificielle, tandis que les directeurs financiers et les conseils d’administration durcissent leur contrôle sur des coûts d’IA jugés inefficaces. Ce changement répond à un problème apparu après deux ans où les entreprises s’appuyaient par défaut sur les modèles d’IA les plus puissants pour toutes les requêtes, quelle que soit leur complexité. Les factures d’IA dépassent désormais largement les budgets, poussant les entreprises à se demander si chaque tâche nécessite des modèles de pointe. Le routage de modèles fait correspondre chaque travail au modèle le plus adapté : il oriente les problèmes complexes vers des systèmes frontaliers coûteux et les tâches courantes vers des alternatives moins chères. Cette évolution pourrait modifier les dynamiques de tarification dans l’industrie de l’IA.
Le routage de modèles associe les tâches à des systèmes d’IA adaptés aux coûts
Le routage de modèles est un outil qui dirige les problèmes difficiles vers des modèles frontaliers coûteux et les tâches simples vers des alternatives moins chères et plus rapides. Scott Wu, PDG de Cognition, qui développe l’agent de codage Devin, a déclaré que les entreprises peuvent obtenir une efficacité des coûts cinq à 10 fois meilleure sur le travail courant en utilisant des modèles qui restent suffisamment adéquats pour la tâche. Wu a donné l’exemple consistant à demander à un modèle de nommer le troisième président des États-Unis — quel que soit son coût, chaque modèle répondra Thomas Jefferson.
Arvind Jain, PDG de Glean, a estimé qu’environ 95 % de l’utilisation de l’IA en entreprise repose actuellement sur les modèles frontaliers les plus coûteux, même pour des tâches que des alternatives moins chères pourraient gérer facilement. La plupart des entreprises ne mettent pas en place de routage, selon des dirigeants interrogés cette semaine.
Cisco fait état de 900 millions de dollars de coûts annuels d’IA pour 90 000 employés
Jeetu Patel, directeur produit chez Cisco, a fourni des chiffres précis. À environ 200 dollars de consommation de jetons par employé et par semaine, les dépenses annuelles atteignent environ 10 000 dollars par personne. Pour les 90 000 employés de Cisco, cela représente 900 millions de dollars par an.
Patel a déclaré que Cisco avait dépassé largement son propre budget et qu’il a fallu ajuster. L’entreprise compte désormais 30 000 ingénieurs qui construisent des produits rédigés en grande partie avec l’IA. Cisco a réalloué ses ressources, en donnant la priorité aux jetons plutôt qu’à d’autres types de dépenses.
Cognition lance une garantie de productivité en IA de 10 millions de dollars
Cognition a annoncé une garantie de productivité en IA en réponse aux inquiétudes des clients concernant le retour sur investissement. Si Devin apporte moins de valeur d’ingénierie que ce que paie un client, Cognition financera l’usage jusqu’à 10 millions de dollars jusqu’à ce que la performance réponde aux attentes. Wu a présenté cette garantie comme un moyen de se concentrer sur la production plutôt que sur des indicateurs d’activité comme les jetons consommés ou le nombre de lignes de code.
Le passage au routage de modèles crée une pression sur OpenAI et Anthropic, dont les modèles économiques et les attentes liées à leur introduction en bourse supposent une demande énorme à des prix premium. Si les entreprises orientent un volume élevé de tâches courantes vers des modèles open source moins chers, les laboratoires de pointe ne seront payés que pour les tâches complexes. Patel a déclaré que la technologie de pointe restera précieuse, mais a prédit que le modèle de tarification changera : les laboratoires devront améliorer leur efficacité plutôt que simplement facturer plus.
FAQ
Qu’est-ce que le routage de modèles dans les systèmes d’IA ?
Le routage de modèles est un outil qui fait correspondre les tâches aux modèles d’IA appropriés selon leur complexité. Il envoie les problèmes difficiles vers des modèles frontaliers coûteux et oriente les tâches courantes vers des alternatives moins chères et plus rapides. Scott Wu de Cognition a déclaré que les entreprises peuvent obtenir une efficacité des coûts cinq à 10 fois meilleure sur le travail courant grâce à cette approche.
Combien Cisco dépense-t-il chaque année en IA pour sa main-d’œuvre ?
Cisco dépense environ 900 millions de dollars par an en IA pour ses 90 000 employés. Jeetu Patel, directeur produit de Cisco, a calculé ce chiffre sur la base d’environ 200 dollars de consommation de jetons par employé et par semaine, ce qui équivaut à environ 10 000 dollars par personne et par an.
