看到有朋友说intel PMem(持久化内存, 特殊的内存条, 断电不丢数据) 是生不逢时, 要是用在大模型的KVCache上就能盘活了. 结果倒在了AI浪潮的黎明前.

这个我比较有经验, 没那么复杂, 单纯是因为写速度拉了, 甚至打不过SSD(图是我刚测的, CPU1上的2条128G, 这玩意还有NUMA).

而企业级固态存储比如Micron 9550读写能干到14/10GB/s 把PCIe5带宽都打满了. 所以写速度打不过SSD, 留着它干嘛, 甚至 intel 最后把自家SSD业务都卖了(卖给了SK海力士, 然后SK海力士单独搞了个全资子公司Solidigm). 不过傲腾(Optane)没卖哦, 但是也不赚钱, 于是直接22年底关了.

现代PD分离推理至少要40GB/s的KVCache池速度(传输时间≤≤Prefill 耗时的 10%计算). 所以400Gb RDMA内存池更爽了, PMem即使出了第三代, 也上不了饭桌. 在我看来PMem现在最大的应用场景可能是NVMeOF池的不掉电缓存.

#kvcache #PMEM #intel