今天在 RTX 5060 Ti 16GB 上跑通了 Ternary Bonsai 2 27B。
简单说,它是面向 Qwen3.8 27B 能力档位做的三进制高效版本:智力贴近,但体积和显存压力小很多,生成也更快。
我这边大约 46 tokens/s,显存占用不到 8GB。
以前想本地玩 Qwen3.8 27B,显卡门槛不低;有了 Bonsai 2,更低配置也能把同档体验跑起来。
我主要拿它跑 TerminalWisely,Linux 运维助手。测下来速度够快,排查和指令理解也不含糊,日常运维问答基本能顶住。消费级显卡本地部署大模型,真的越来越香了。

