Model Routing Muncul sebagai Solusi Kontrol Biaya AI untuk Perusahaan, Memberi Tekanan pada OpenAI dan Anthropic

Menurut CNBC, para pemimpin AI termasuk Cognition CEO Scott Wu dan Cisco CPO Jeetu Patel mengungkapkan pekan ini bahwa model routing—sebuah solusi yang mencocokkan tugas dengan model AI yang sesuai berdasarkan kompleksitas—sedang menjadi disiplin biaya utama di Amerika Serikat.

Saat ini, sekitar 95% penggunaan AI perusahaan secara default memakai model frontier yang mahal bahkan untuk tugas-tugas rutin, menurut Glean CEO Arvind Jain. Model routing dapat memberikan efisiensi biaya 5 hingga 10 kali lebih baik untuk pekerjaan boilerplate dengan menggunakan alternatif yang lebih murah. Analisis biaya Cisco menegaskan tekanannya: dengan penggunaan token $200 per karyawan per minggu, perusahaan menghadapi sekitar $900 juta pengeluaran AI tahunan untuk 90.000 karyawannya. Jika perusahaan semakin mengarahkan tugas bernilai volume tinggi dan mudah ke model yang lebih murah atau open-source, OpenAI dan Anthropic hanya akan menerima pembayaran untuk pekerjaan yang kompleks—berpotensi mengubah model penetapan harga yang keduanya bangun berdasarkan valuasi mereka.