铭鸿体育资讯网

Redis数据库的创始人antirez用一台128GB内存的苹果M5 Max电脑,配合固态硬盘(SSD),成功把最新的DeepSeek v4.1 Flash大模型跑了起来,大约每秒能生成15 token。如果用两台电脑联网一起跑,能到25token左右。 新玩法核心是SSD Streaming(固态硬盘流式加载) DeepSeek模型用的是MoE架构(Mixture of ​

Redis数据库的创始人antirez用一台128GB内存的苹果M5 Max电脑,配合固态硬盘(SSD),成功把最新的DeepSeek v4.1 Flash大模型跑了起来,大约每秒能生成15 token。如果用两台电脑联网一起跑,能到25token左右。

新玩法核心是SSD Streaming(固态硬盘流式加载)

DeepSeek模型用的是MoE架构(Mixture of Experts,专家混合)。简单理解:模型里有很多“专家小组”,每次回答问题只激活其中几个专家就够了,其他专家可以暂时“休息”。既然大部分专家平时用不上,那就不用全部塞进内存,而是把它们先放在高速固态硬盘(NVMe SSD)上。需要哪个专家时,再临时从硬盘读进内存,用完可以清掉,这就叫 SSD Streaming(固态硬盘流式推理)。

(128GB内存 + 一块普通高速固态硬盘)速度虽然比全放内存慢一点,但已经达到“能用”的水平(15 tokens/秒左右,日常聊天、写代码基本够用)。