黄仁勋发布NVHBM:为XPU带来更高带宽与能效

5074

随着大规模AI模型和代理应用对算力密度的要求不断攀升,传统HBM架构已成为瓶颈,NVIDIA推出了自研定制高带宽内存NVHBM,并将其纳入NVLink Fusion生态。NVHBM的核心思想是把常见放在XPU主计算裸片上的内存控制器和物理接口(PHY)移入3D堆叠的HBM模组内,同时采用精简的定制PHY,从而减少XPU芯片上的面积占用并简化多芯片互联布线,降低延迟和复杂度。

官方数据显示,与标准HBM4E相比,NVHBM可使带宽提升约30%、功耗下降约15%,并能在XPU上释放约25%的计算裸片面积,从而为更大规模的模型提供更高的内存带宽与能效。这里的XPU泛指一切计算单元(CPU、GPU、NPU、TPU、DPU、FPGA等),狭义上也常指除通用CPU/GPU外的各类定制AI芯片和专用加速器。

此外,NVHBM作为标准化组件被并入NVLink Fusion工具包并向生态伙伴开放。NVLink Fusion是NVIDIA把自家NVLink高速互联技术以IP许可、芯片模块和设计工具包形式对外提供的方案,第三方厂商无需从头设计机架级高速互联就能将定制XPU或通用CPU接入NVLink机架级互联网络,融入NVIDIA的算力基础设施。 qy球友会官网

亚马逊安纳普尔纳实验室(Annapurna Labs)是NVHBM的首批合作方之一,双方将联合推动NVHBM与NVLink扩展架构的集成,以提升全场景AI负载的性能与能效。未来亚马逊的新一代Trainium系列(从Trainium 4起)计划采用NVLink Fusion接口,实现与NVIDIA GPU在统一机架架构下的高速互联,后续产品也将逐步原生集成NVHBM。

NVIDIA此前还宣布,下一代Feynman架构GPU将采用定制HBM方案,这意味着Feynman可能成为首款搭载NVHBM的自研GPU,预计在2028年下半年进入量产,采用台积电A16(1.6nm)工艺与3D堆叠封装,单卡HBM容量有望达到TB级别。

需要说明的是,当前NVHBM的优势首先面向NVLink Fusion生态中的定制芯片客户;已量产的Vera Rubin机架级系统暂时还不支持该技术。 qy球友会官网

每次参加足球课程,我都能获得更多的专业建议和反馈,让我在短时间内提高了很多技术,感觉自己变得更加出色!...

每次参加足球课程,我都能获得更多的专业建议和反馈,让我在短时间内提高了很多技术,感觉自己变得更加出色!...