D-Matrix, startup chip AI yang didukung Microsoft dan berbasis di Silicon Valley, meluncurkan chip inferensi Corsair dengan klaim mampu menjalankan beban kerja inferensi 10 kali lebih cepat dan menggunakan energi 5 kali lebih sedikit dibanding GPU Nvidia mandiri untuk beban kerja skala kecil. Perusahaan yang didirikan pada 2019 dan dinilai sekitar 2 miliar dolar AS setelah menggalang dana sekitar 500 juta dolar AS, mulai mengirimkan ke pelanggan bulan ini. Peluncuran ini hadir saat pasar chip AI menunjukkan peluang besar bagi pemain yang terspesialisasi, menyusul IPO Cerebras bulan lalu yang menggalang lebih dari 5,5 miliar dolar AS dan menilai perusahaan itu di atas 50 miliar dolar AS, serta akuisisi Nvidia senilai 20 miliar dolar AS terhadap Groq pada bulan Desember.
D-Matrix Menggunakan Arsitektur Memori SRAM untuk Inferensi Latensi Rendah
Chip Corsair D-Matrix mencapai inferensi latensi rendah dengan daya rendah melalui integrasi ketat memori dan komputasi dalam satu chip. Seperti Groq dan Cerebras, D-Matrix mengandalkan SRAM, jenis memori yang dapat dibuat di logic fabs seperti Taiwan Semiconductor Manufacturing Company dan diintegrasikan pada chip yang sama. GPU bergantung pada jumlah besar jenis memori lain bernama DRAM yang dikemas dalam tumpukan high bandwidth memory dan ditambahkan di sekitar chip logika. Co-founder dan CEO Sid Sheth mengatakan perusahaan tidak menghadapi hambatan di sekitar DRAM karena produk tidak bergantung pada DRAM agar sukses.
Saat dipasangkan dengan GPU Nvidia Blackwell, D-Matrix mengatakan, dengan mengutip riset dari Gimlet Labs, bahwa Corsair dapat menjalankan inferensi 10 kali lebih cepat, 3 kali lebih murah, dan hingga 5 kali lebih efisien energi dibanding GPU mandiri. Sheth mengatakan Corsair dirancang untuk inferensi AI dengan mengoptimalkan interaktivitas atau kecepatan dibanding ukuran bahasa, menargetkan kasus penggunaan seperti chatbot, agen suara, dan alat berbasis agen.
Perusahaan Mengamankan Komitmen dari Hyperscaler dan AI Labs
Sheth mengatakan perusahaan memiliki komitmen dari hyperscaler terkemuka, neoclouds, dan frontier AI labs. D-Matrix mulai mengirimkan ke pelanggan pada bulan ini. Sekitar 90% pelanggan berada di AS, sementara pelanggan luar negeri berada di Timur Tengah dan Asia Tenggara, kata Sheth. Microsoft berinvestasi lewat lengan ventura M12.
Sheth menyatakan tidak ada niat untuk menjual perusahaan dan menyebut pasar chip AI sebagai “pasar senilai 1 triliun dolar AS yang sedang dibentuk”. Analis semikonduktor Stacy Rasgon dari Bernstein Research mencatat bahwa D-Matrix memiliki jumlah keterlibatan pelanggan yang wajar dan nyata, dengan pelanggan yang sering menggunakan chip tersebut bersama Nvidia.
Chip Corsair Menghadapi Keterbatasan pada Model Skala Besar
Rick Bahr, profesor tambahan bidang teknik elektro di Stanford University, mengidentifikasi keterbatasan signifikan: meski SRAM di dalam chip memungkinkan kecepatan inferensi yang luar biasa karena data menempuh jarak pendek, desain itu tidak bisa menangani triliunan parameter yang kini membentuk model besar dari pemimpin seperti OpenAI dan Anthropic. Bahr mengatakan jumlah parameter tersebut tidak mungkin dimasukkan ke dalam desain berbasis SRAM.
CEO Nvidia Menanggapi Klaim Persaingan Inferensi
CEO Nvidia Jensen Huang mengatakan pekan lalu bahwa perusahaannya tetap menjadi pemimpin dalam inferensi berbiaya rendah dengan sistem Vera Rubin karena bukan hanya soal kecepatan. Di Computex di Taiwan, Huang mengatakan alasannya adalah Nvidia mengintegrasikan semuanya, merancang semuanya dari nol, mensimulasikan seluruh sistem, dan menggunakan co-design ekstrem. Nvidia merilis chip Groq baru di GTC pada bulan Maret, yang disebut language processing unit.
D-Matrix Mengirimkan Kartu Empat Chip yang Dibangun pada Proses TSMC 6-Nanometer
D-Matrix menjual empat chip Corsair yang dikemas bersama dalam sebuah kartu yang meluncur ke slot di rak server pusat data dan harganya puluhan ribu dolar AS. Sheth menyebut Corsair sebagai solusi SRAM paling padat di pasar saat ini, dengan SRAM memori hingga 128 gigabyte dalam satu server. Chip tersebut dibuat di Taiwan pada node 6-nanometer milik TSMC.
D-Matrix bekerja sama dengan Arista, Broadcom, dan Super Micro untuk membangun sistem skala penuh dalam satu rak bernama SquadRack untuk menerapkan chipnya di pusat data AI. Chip berikutnya perusahaan, Raptor, dijadwalkan meluncur tahun depan pada TSMC 4 nanometer, yang kata Sheth bisa keluar dari pabrik perusahaan Taiwan di Arizona.
FAQ
Klaim kinerja apa yang dibuat D-Matrix untuk chip Corsair-nya?
D-Matrix mengklaim chip Corsair-nya dapat menjalankan beban kerja inferensi 10 kali lebih cepat dan menggunakan energi 5 kali lebih sedikit dibanding GPU Nvidia mandiri untuk beban kerja skala kecil. Bila dipasangkan dengan GPU Nvidia Blackwell, dengan mengutip riset dari Gimlet Labs, Corsair dapat menjalankan inferensi 10 kali lebih cepat, 3 kali lebih murah, dan hingga 5 kali lebih efisien energi dibanding GPU mandiri.
Apa keterbatasan teknis dari pendekatan berbasis SRAM D-Matrix?
Menurut Rick Bahr, profesor tambahan bidang teknik elektro di Stanford University, desain berbasis SRAM tidak dapat menangani triliunan parameter yang membentuk model besar dari pemimpin seperti OpenAI dan Anthropic. Meskipun SRAM di dalam chip memungkinkan kecepatan inferensi yang luar biasa, jumlah parameter tersebut tidak bisa dimasukkan ke dalam desain berbasis SRAM.
Kapan D-Matrix mulai mengirimkan chip Corsair ke pelanggan?
D-Matrix mulai mengirimkan chip Corsair ke pelanggan bulan ini. Perusahaan memiliki komitmen dari hyperscalers, neoclouds, dan frontier AI labs, dengan sekitar 90% pelanggan di AS dan pelanggan luar negeri di Timur Tengah dan Asia Tenggara.
