铭鸿体育资讯网

算力不够用?先进封装、硅光互联、浸没式液冷正在撬开天花板 大模型越做越大,能耗越

算力不够用?先进封装、硅光互联、浸没式液冷正在撬开天花板
大模型越做越大,能耗越来越高,散热成了数据中心最头疼的事。做云的朋友私下吐槽,PUE降不下来,运营成本离谱。
问题很深层,算力需求正在从单一的大模型训练,转向AI for Science的全精度计算,一台集群得干过去超算+智算两台设备的活。然而芯片功耗直奔千瓦级,单机柜功率动辄突破100kW,行业正被能耗、散热、数据传输三大瓶颈同时卡住。
好在技术迭代没停。智博会上听曙光发言,也跟几位专家聊了,有几个技术方向值得关注:
先进封装:2.5D/3D封装渗透率加速,Chiplet从概念走向规模商用。异构集成密度的大幅提升,让全精度集群可以在更小物理空间内塞下不同精度要求的计算单元。
硅光互联:大模型训练80%时间耗在通信上,全精度集群中,双精度节点与半精度节点之间的频繁数据交换,尤其需要低延迟、高带宽的光互连来支撑。
浸没式液冷:千瓦级芯片功耗下,风冷已经压不住了。曙光万卡应用的相变浸没液冷PUE可以做到1.04以下,一年省的电费够回本,运营成本降了30%以上。
这三项技术,恰好是超智融合时代的“铁三角”,而且从最近政策+技术双轮驱动来看,未来两年会催生出一批真正的技术驱动型公司,建议仔细翻翻。
超智融合 大模型