来源时间 本站刊期
精选深读Google Research
睡眠框架：LLM在持续学习中保留知识的新方法
The sleep framework: A new way for LLMs to retain knowledge in continual learning
谷歌研究院睡眠框架探讨LLM任务间巩固知识的算力成本与持续学习保留权衡值得关注。
判断
模型所有者若要在静态知识截止与持续更新之间做选择，应把谷歌研究院的睡眠阶段视为有预算的生命周期选择：分配离线算力和预分配的MoE内存来巩固上下文，接受额外的后训练成本以避免灾难性遗忘。
依据
Google Research的Ali Behrouz和Vahab Mirrokni在持续学习中引入睡眠阶段。在清醒阶段，LLM接收输入并将其处理为快速短期记忆；在睡眠阶段，它停止接收新输入，将计算转向记忆巩固和自我改进。离线睡眠期间，模型解锁预分配的混合专家内存块，并使用自生成的练习示例更新数值权重。作者称，这种交替循环使LLM能够获取新事实、保留最多10M token的长上下文知识并提升复杂推理，同时缓解灾难性遗忘或静态知识截止。
没写清 来源未报告睡眠阶段的算力成本、实际耗时或遗忘/保留基准。
下一步 关注后续论文或代码发布是否报告所述10M token上下文下的保留与灾难性遗忘结果，以及离线算力预算。