12G显存实测:Ornith1.5关MTP真的更快吗
刷到个帖子,有人说 3060 12G 跑 Ornith-1.5-35B,把 MTP 关了输出 token 反而更快。我这台机器正好就是这个配置,Ornith-1.5-35B Q4_K_M 常驻跑着,平时代码任务 55 t/s 上下,直接上手验。
本地部署大模型 Ornith RTX3060 MoE MTP AI实测 ai 本地大模型





12G显存实测:Ornith1.5关MTP真的更快吗
刷到个帖子,有人说 3060 12G 跑 Ornith-1.5-35B,把 MTP 关了输出 token 反而更快。我这台机器正好就是这个配置,Ornith-1.5-35B Q4_K_M 常驻跑着,平时代码任务 55 t/s 上下,直接上手验。
本地部署大模型 Ornith RTX3060 MoE MTP AI实测 ai 本地大模型




