铭鸿体育资讯网

高通这次发布的 HBC,全称 High Bandwidth Compute,高带宽计算。 传统方案中,计算和内存是两个部分,数据需要在两者之间传输。HBC 使用 3D 堆叠硅架构,把内存和计算放得更近,缩短数据传输路径,同时增加传输通道。 第一代 HBC 会用在高通 AI250 上,设计有效内存带宽达到 133TB/s。高通公布的数 ​

高通这次发布的 HBC,全称 High Bandwidth Compute,高带宽计算。

传统方案中,计算和内存是两个部分,数据需要在两者之间传输。HBC 使用 3D 堆叠硅架构,把内存和计算放得更近,缩短数据传输路径,同时增加传输通道。

第一代 HBC 会用在高通 AI250 上,设计有效内存带宽达到 133TB/s。高通公布的数据是,相比 AI200 使用的 LPDDR5X,带宽提升 18 倍。第二代 HBC 配合 AI300,目标提升到 54 倍。

带宽增加还有一个作用:省电。我感觉省电是最重要的。

AI 数据中心的功耗,不只来自使用的过程。参数、KV Cache 和中间数据在内存与计算单元之间传输,也需要耗电。高通公布的数据是,HBC 与公开规格的 HBM 方案相比,每瓦能够提供的内存带宽达到 6 倍。骁龙峰会