D-Matrix, uma startup de chips de IA apoiada pela Microsoft, com sede no Vale do Silício, lançou seu chip de inferência Corsair com a alegação de executar cargas de trabalho de inferência 10 vezes mais rápido e usar cinco vezes menos energia do que uma GPU Nvidia independente para cargas pequenas. A empresa, fundada em 2019 e avaliada em cerca de US$ 2 bilhões após captar aproximadamente US$ 500 milhões, começa a enviar para clientes neste mês. O lançamento acontece quando o mercado de chips de IA mostra uma oportunidade substancial para players especializados, após o IPO da Cerebras no mês passado, que levantou mais de US$ 5,5 bilhões e avaliou a empresa em mais de US$ 50 bilhões, e a aquisição de Groq pela Nvidia, de US$ 20 bilhões, em dezembro.
D-Matrix usa arquitetura de memória SRAM para inferência de baixa latência
O chip Corsair da D-Matrix alcança inferência de baixa latência com baixo consumo de energia ao integrar memória e computação de forma estreita em um único chip. Assim como a Groq e a Cerebras, a D-Matrix depende de SRAM, um tipo de memória que pode ser fabricada em fabs de lógica como a Taiwan Semiconductor Manufacturing Company e integrada no mesmo chip. As GPUs dependem de grandes quantidades de outro tipo de memória chamado DRAM, que é embalada em stacks de memória de alta largura de banda adicionados ao redor do chip de lógica. O cofundador e CEO Sid Sheth disse que a empresa não está esbarrando em um gargalo em torno da DRAM porque o produto não depende de DRAM para ter sucesso.
Quando pareado com uma GPU Nvidia Blackwell, a D-Matrix diz, citando pesquisa da Gimlet Labs, que o Corsair pode rodar inferência 10 vezes mais rápido, três vezes mais barato e até cinco vezes mais eficiente em energia do que uma GPU independente. Sheth disse que o Corsair foi projetado para inferência de IA, otimizando para interatividade ou velocidade em vez do tamanho do idioma, mirando casos de uso como chatbots, agentes de voz e ferramentas agenticas.
Empresa garante compromissos com hyperscalers e labs de IA
Sheth disse que a empresa tem compromissos de hyperscalers de alto perfil, neoclouds e labs de IA de fronteira. A D-Matrix começa a enviar para esses clientes neste mês. Cerca de 90% dos clientes estão nos EUA, enquanto os clientes no exterior estão no Oriente Médio e no Sudeste Asiático, disse Sheth. A Microsoft investiu por meio do braço de venture M12.
Sheth afirmou que não pretende vender a empresa e chamou o mercado de chips de IA de “um mercado de US$ 1 trilhão em formação”. O analista de semicondutores Stacy Rasgon, da Bernstein Research, observou que a D-Matrix tem um número razoável de engajamentos reais e efetivos com clientes, com clientes frequentemente usando os chips em conjunto com a Nvidia.
Chip Corsair enfrenta limitações com modelos em grande escala
Rick Bahr, professor adjunto de engenharia elétrica da Universidade Stanford, identificou uma limitação significativa: embora a SRAM no chip permita velocidades de inferência notáveis porque os dados percorrem distâncias curtas, ela não consegue lidar com os trilhões de parâmetros que agora compõem modelos grandes de líderes como OpenAI e Anthropic. Bahr afirmou que esse número de parâmetros simplesmente não pode ser colocado em um design baseado em SRAM.
CEO da Nvidia responde às alegações de competição em inferência
O CEO da Nvidia, Jensen Huang, disse na semana passada que sua empresa segue como líder em inferência de baixo custo com seu sistema Vera Rubin porque não se trata apenas de velocidade. Em um evento Computex em Taiwan, Huang disse que o motivo é que a Nvidia integra tudo, projeta tudo do zero, simula todo o sistema e usa co-design extremo. A Nvidia lançou um novo chip da Groq na GTC em março, chamado de unidade de processamento de linguagem.
D-Matrix envia placas de quatro chips construídas no processo de 6 nanômetros da TSMC
A D-Matrix vende quatro chips Corsair embalados juntos dentro de uma placa que desliza nos slots de um rack de servidor de data center e custa dezenas de milhares de dólares. Sheth chamou o Corsair de a solução SRAM mais densa do mercado hoje, com até 128 gigabytes de memória SRAM em um único servidor. O chip é fabricado em Taiwan no nó de 6 nanômetros da TSMC.
A D-Matrix se associou à Arista, Broadcom e Super Micro para construir um sistema completo em escala de rack chamado SquadRack para implantar seus chips em data centers de IA. O próximo chip da empresa, Raptor, está programado para ser lançado no próximo ano na TSMC 4 nanômetros, o que Sheth disse que poderia sair da fábrica da empresa em Arizona.
FAQ
Quais alegações de desempenho a D-Matrix faz para seu chip Corsair?
A D-Matrix afirma que seu chip Corsair consegue executar cargas de inferência 10 vezes mais rápido e usando cinco vezes menos energia do que uma GPU Nvidia independente para cargas pequenas. Quando pareado com uma GPU Nvidia Blackwell, citando pesquisa da Gimlet Labs, o Corsair pode executar inferência 10 vezes mais rápido, três vezes mais barato e até cinco vezes mais eficiente em energia do que uma GPU independente.
Quais são as limitações técnicas da abordagem baseada em SRAM da D-Matrix?
De acordo com Rick Bahr, professor adjunto de engenharia elétrica da Universidade Stanford, o design baseado em SRAM não consegue lidar com os trilhões de parâmetros que compõem modelos grandes de líderes como OpenAI e Anthropic. Embora a SRAM no chip possibilite velocidades de inferência notáveis, esse número de parâmetros simplesmente não pode ser colocado em um design baseado em SRAM.
Quando a D-Matrix começa a enviar chips Corsair para clientes?
A D-Matrix começa a enviar chips Corsair para clientes neste mês. A empresa tem compromissos com hyperscalers, neoclouds e labs de IA de fronteira, com cerca de 90% dos clientes nos EUA e clientes no exterior no Oriente Médio e no Sudeste Asiático.
