D-Matrix 是一家獲微軟支持的 AI 晶片新創公司，總部位於矽谷。該公司推出 Corsair 推論晶片，宣稱在小型工作負載下，相較於單獨的 Nvidia GPU，推論速度可快 10 倍、耗能可降低 5 倍。該公司成立於 2019 年，並在融資約 5 億美元後估值約 20 億美元。本月起，公司開始出貨給客戶。此番推出之際，AI 晶片市場展現出對專業玩家的可觀機會，繼上個月 Cerebras 的 IPO 融資超過 55 億美元、並使公司估值超過 500 億美元後，以及 Nvidia 在去年 12 月斥資 200 億美元收購 Groq。
D-Matrix 使用 SRAM 記憶體架構以實現低延遲推論
D-Matrix 的 Corsair 晶片透過在單一晶片上緊密整合記憶體與運算，達成低功耗與低延遲的推論效果。和 Groq、Cerebras 一樣，D-Matrix 依賴 SRAM，這是一種可像台灣積體電路製造公司一樣在邏輯晶圓廠製造、並整合到同一顆晶片上的記憶體。GPU 則仰賴大量另一種稱為 DRAM 的記憶體，將其封裝成堆疊式高頻寬記憶體，並在邏輯晶片周邊加以配置。聯合創始人兼執行長 Sid Sheth 表示，公司並未在 DRAM 周邊遭遇瓶頸，因為要讓產品成功並不依賴 DRAM。
D-Matrix 表示，當搭配 Nvidia Blackwell GPU 時，引用 Gimlet Labs 的研究，Corsair 可在推論上快 10 倍、便宜 3 倍，且在能源效率上最高可比單獨的 GPU 多達 5 倍。Sheth 表示，Corsair 的設計目標是 AI 推論，強調互動性或速度，而非語言模型的規模，鎖定聊天機器人、語音代理與代理式工具等使用情境。
公司向超大型雲端與 AI 實驗室取得承諾
Sheth 表示，公司已獲得來自高知名度的超大型雲端平台、neoclouds 與前沿 AI 實驗室的承諾。本月起，公司開始向這些客戶出貨。Sheth 說，約 90% 的客戶在美國，而海外客戶在中東與東南亞。微軟透過其 M12 風投部門進行投資。
Sheth 表示，他沒有打算出售公司，並稱 AI 晶片市場是「一個即將形成的 1 兆美元市場」。Bernstein Research 的半導體分析師 Stacy Rasgon 指出，D-Matrix 已經擁有相當數量的實際、真實客戶合作案，且客戶常常會把該公司的晶片與 Nvidia 一起使用。
Corsair 晶片在大規模模型上面臨限制
史丹佛大學電機工程兼任教授 Rick Bahr 指出一項重大限制：雖然晶片上的 SRAM 能帶來驚人的推論速度，因為資料傳輸距離很短，但它無法處理構成大型模型的數兆個參數，而這些大型模型正由 OpenAI 與 Anthropic 等領導者所打造。Bahr 表示，這些參數根本不可能被放進以 SRAM 為基礎的設計之中。
Nvidia 執行長回應推論競爭宣稱
Nvidia 執行長 Jensen Huang 上週表示，自己的公司在低成本推論方面仍是領先者，因為其 Vera Rubin 系統不只是追求速度。Huang 在台灣的 Computex 表示，原因在於 Nvidia 會整合一切，從零開始設計一切，模擬整個系統，並採用極致的共同設計（co-design）。Nvidia 於今年 3 月在 GTC 發表新的 Groq 晶片，稱為語言處理單元。
D-Matrix 出貨四晶片卡片，基於台積電 6 奈米製程
D-Matrix 將 4 顆 Corsair 晶片封裝在一起，製成一張可滑入資料中心伺服器機架插槽的卡片，售價達數萬美元。Sheth 表示，Corsair 是當前市場上最密集的 SRAM 解決方案，單一伺服器最多可提供 128 GB 的 SRAM 記憶體。該晶片在台灣由台積電的 6 奈米節點製造。
D-Matrix 與 Arista、Broadcom 與 Super Micro 合作，打造一套名為 SquadRack 的可擴展機架級系統，用於在 AI 資料中心部署其晶片。公司的下一代晶片 Raptor 預計明年在台積電 4 奈米製程推出，Sheth 表示，它可能會從這家台灣公司的位於亞利桑那州的工廠出貨。
常見問題（FAQ）
D-Matrix 在其 Corsair 晶片上做了哪些效能宣稱？
D-Matrix 宣稱，在小型工作負載下，其 Corsair 晶片的推論速度可比單獨的 Nvidia GPU 快 10 倍、耗能也可降低 5 倍。當搭配 Nvidia Blackwell GPU 時，引用 Gimlet Labs 的研究，Corsair 可在推論上快 10 倍、便宜 3 倍，且在能源效率上最高可比單獨的 GPU 多達 5 倍。
D-Matrix 以 SRAM 為基礎的做法有哪些技術限制？
根據史丹佛大學電機工程兼任教授 Rick Bahr 的說法，以 SRAM 為基礎的設計無法處理構成 OpenAI 與 Anthropic 等領導者大型模型的數兆個參數。雖然晶片上的 SRAM 能帶來驚人的推論速度，但這些參數根本不可能被放進以 SRAM 為基礎的設計之中。
D-Matrix 何時開始向客戶出貨 Corsair 晶片？
D-Matrix 本月起開始向客戶出貨 Corsair 晶片。公司已取得超大型雲端平台、neoclouds 與前沿 AI 實驗室的承諾，其中約 90% 的客戶在美國，而海外客戶在中東與東南亞。
