铭鸿体育资讯网

DeepSeek联合北京大学正式推出DSpark推理加速框架,并且在GitHub

DeepSeek联合北京大学正式推出DSpark推理加速框架,并且在GitHub全线开源代码与论文,直击大模型高并发下延迟高、算力浪费的痛点。

传统大模型逐字生成Token,用户一多就卡顿。DSpark采用半自回归预判+置信度动态调度,先用小模型批量生成候选内容,主模型一次性并行核验,在不降低回答质量的前提下大幅提速。

部署在DeepSeek-V4-Flash与V4-Pro线上服务:同等吞吐量下,单用户生成速度提升60%—85%;严格限制响应速度时,系统整体吞吐量最高暴涨4倍。该框架不只适配自家模型,还兼容通义千问、Gemma等主流开源大模型,通用性极强。

一边大手笔扩招抢人才,一边持续开源底层推理技术。在模型能力内卷之外,推理效率、算力优化已经成为新一轮AI竞争的主战场。