[LG]《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》A Behrouz, F Hashemi, V Mirrokni [Google Research & Cornell University] (2026)

在LLM持续学习中，新知识只能暂住上下文，参数更新又容易覆盖旧能力。过去方法受困于重训练或微调，本质原因是缺少把短期记忆转成长久参数的机制。

本文的核心洞见是：把模型生命周期重新看作“清醒—睡眠”循环。由此，睡眠期的知识播种与梦境自训，使模型把近期经验蒸馏进更稳定的低频参数。

这项工作真正留下的遗产是：LLM更新不必只在训练/测试之间切换。它打开的新门是会自我巩固的持续学习模型，但门槛是睡眠调度、梦境质量与计算成本仍难统一。

arxiv.org/abs/2606.03979 机器学习 人工智能 论文 AI创造营