Amerika korporat mengadopsi model routing untuk mengendalikan pengeluaran kecerdasan buatan, saat CFO dan dewan direksi menindak biaya AI yang tidak efisien. Perubahan ini menanggapi masalah yang muncul setelah dua tahun perusahaan secara default memakai model AI paling bertenaga untuk semua kueri, terlepas dari tingkat kompleksitasnya. Tagihan AI kini berjalan jauh di depan anggaran, membuat perusahaan mempertanyakan apakah setiap tugas perlu memakai model frontier. Model routing mencocokkan pekerjaan dengan model yang sesuai, mengarahkan masalah kompleks ke sistem frontier yang mahal dan tugas rutin ke alternatif yang lebih murah. Perubahan ini berpotensi mengubah dinamika penetapan harga di industri AI.
Model Routing Mencocokkan Tugas dengan Sistem AI yang Sesuai Biaya
Model routing adalah alat yang mengarahkan masalah sulit ke model frontier yang mahal dan tugas mudah ke alternatif yang lebih murah serta lebih cepat. Scott Wu, CEO Cognition yang membuat agen coding Devin, mengatakan perusahaan dapat mencapai efisiensi biaya 5 hingga 10 kali lebih baik untuk pekerjaan rutin dengan memakai model yang tetap memadai untuk tugas tersebut. Wu memberi contoh saat meminta sebuah model untuk menyebutkan presiden AS ketiga — setiap model, apa pun biayanya, akan menjawab Thomas Jefferson.
Arvind Jain, CEO Glean, memperkirakan sekitar 95% penggunaan AI di perusahaan saat ini berjalan pada model frontier termahal, bahkan untuk tugas yang sebenarnya bisa ditangani dengan mudah oleh alternatif yang lebih murah. Sebagian besar perusahaan tidak melakukan routing sama sekali, menurut eksekutif yang diwawancarai pekan ini.
Cisco Melaporkan Biaya AI Tahunan 900 Juta Dolar AS untuk 90.000 Karyawan
Jeetu Patel, chief product officer Cisco, memberikan angka biaya yang spesifik. Dengan penggunaan token sekitar $200 per karyawan per minggu, pengeluaran tahunan mencapai sekitar $10.000 per orang. Untuk 90.000 karyawan Cisco, totalnya mencapai 900 juta dolar AS per tahun.
Patel mengatakan Cisco melampaui anggarannya sendiri dengan cukup jauh dan harus melakukan penyesuaian. Perusahaan kini memiliki 30.000 insinyur yang membangun produk, sebagian besar ditulis dengan AI. Cisco telah mengalihkan sumber daya, memprioritaskan token dibanding pengeluaran lain.
Cognition Meluncurkan Jaminan Produktivitas AI Senilai $10 Juta
Cognition mengumumkan jaminan produktivitas AI sebagai respons atas kekhawatiran pelanggan terkait imbal hasil investasi. Jika Devin memberikan nilai rekayasa yang lebih rendah daripada yang dibayar pelanggan, Cognition akan membiayai penggunaan hingga $10 juta sampai performa memenuhi ekspektasi. Wu membingkai jaminan tersebut sebagai cara untuk fokus pada output, bukan metrik aktivitas seperti token yang dikonsumsi atau jumlah baris kode.
Peralihan menuju model routing menciptakan tekanan bagi OpenAI dan Anthropic, yang model bisnisnya serta ekspektasi IPO mengasumsikan permintaan besar dengan harga premium. Jika perusahaan mengarahkan volume tinggi pekerjaan rutin ke model open-source yang lebih murah, lab frontier hanya dibayar untuk tugas-tugas kompleks. Patel menyatakan teknologi mutakhir akan tetap bernilai, tetapi memprediksi model penetapan harga akan bergeser—lab perlu meningkatkan efisiensi, bukan sekadar mengenakan biaya lebih mahal.
FAQ
Apa itu model routing dalam sistem AI?
Model routing adalah alat yang mencocokkan tugas dengan model AI yang sesuai berdasarkan kompleksitasnya. Ia mengirim masalah sulit ke model frontier yang mahal dan mengarahkan tugas rutin ke alternatif yang lebih murah serta lebih cepat. Scott Wu dari Cognition mengatakan perusahaan dapat mencapai efisiensi biaya 5 hingga 10 kali lebih baik untuk pekerjaan rutin dengan pendekatan ini.
Berapa Cisco menghabiskan biaya AI setiap tahun untuk tenaga kerjanya?
Cisco menghabiskan sekitar 900 juta dolar AS per tahun untuk AI bagi 90.000 karyawannya. Jeetu Patel, chief product officer Cisco, menghitung angka ini berdasarkan penggunaan token sekitar $200 per karyawan per minggu, yang setara sekitar $10.000 per orang per tahun.
