Marvell Technology 正受到华尔街投资者的关注,因为半导体市场在人工智能驱动的功耗危机背景下转向能效。据彭博社报道,美国数据中心附近的电费在过去五年上涨了267%,影响了美国50个州中的13个州,因为AI工作负载消耗大量电力。大型科技公司批发购买电力享受折扣,而居民消费者承担更高成本,这促使行业优先考虑低功耗芯片架构。韩东国际大学人工智能融合系的 Kim Hak-joo 教授解释说,Marvell 在2021年收购了芯片间信号连接领域的领导者 Inphi,这使该公司能够解决AI的核心瓶颈:内存与处理单元之间的数据传输,这一过程占AI功耗的40%。
AI功耗导致美国数据中心地区电费飙升267%
彭博社报道称,美国数据中心附近地区的电费比五年前上涨了267%,目前美国50个州中有13个州受到影响,且地理范围持续扩大。运营数据中心的大型科技公司批发购买电力,享受折扣,将成本负担转嫁给居民消费者。AI功耗分为四类:数据传输(40%)、散热与冷却(35%)、计算(15%)以及数据存储维护(10%)。NVIDIA首席科学家Bill Dally表示,AI将数据从外部内存半导体(HBM)传输到处理单元(GPU)所消耗的电力远高于计算本身。
半导体行业转向SRAM和CIM架构以提高能效
该行业正朝着更多地使用SRAM(位于GPU处理单元内部的内存)而非外部HBM内存的方向发展,以减少数据传输距离。当计算功耗为1时,从内部SRAM内存检索数据需要5-10单位的电力,而从外部HBM内存获取数据则需要100-1000单位,这是由于铜线较长距离上的信号电阻以及信号放大需求。包括Groq和Cerebras在内的公司设计了密集集成SRAM的芯片,消除了外部HBM连接,尽管SRAM在容量、物理尺寸和成本方面存在局限性。该行业还在开发将处理单元直接集成到内存中的Chip-in-Memory(CIM)架构,以进一步缩短传输距离。
Marvell Technology通过收购Inphi获得竞争优势
Marvell Technology在2021年收购了Inphi,获得了半导体间信号连接领域世界领先的专业知识。Inphi在紧密芯片空间内的微级信号连接和光通信网络解决方案方面都占据主导地位。包括谷歌、微软和亚马逊在内的大型科技公司需要Inphi的知识产权来设计芯片间(ASIC)网络,这使得Inphi即使与大型科技公司谈判也拥有显著的议价能力。该行业正在将数据传输介质从铜线转变为基于激光的光通信,以减少从外部HBM内存检索大量数据时的功耗和发热,而Inphi在这一领域保持着一流的解决方案。
常见问题解答
是什么导致美国数据中心附近的电费上涨了267%?
据彭博社报道,美国数据中心地区的电费在五年内上涨了267%,原因是AI的巨大功耗,目前影响了美国50个州中的13个州,地理影响范围正在扩大。
Marvell Technology为何在2021年收购Inphi?
Marvell在2021年收购Inphi,以获得在芯片间信号连接和光通信网络方面的世界领先技术,这些能力对于低功耗AI芯片架构至关重要,因为数据传输占AI功耗的40%。
与HBM内存相比,SRAM如何降低AI功耗?
位于GPU处理单元内部的SRAM在计算使用1单位电力时,数据检索需要5-10单位电力,而外部HBM内存由于更长的数据传输距离和铜线上的信号放大需求,消耗100-1000单位电力。