Language models need "sleep"

Language models need "sleep"

DAIR.AI 转引一篇关于长上下文 agent 的论文，提出让语言模型在运行中加入类似“睡眠”的离线巩固步骤：模型会周期性地对最近上下文做 N 次离线递归前向，然后把结果写入 state-space blocks 的 persistent fast weights，并清空 KV cache。这样可把额外计算挪到“睡眠”阶段，同时保持“清醒”时的预测低延迟。论文在 cellular automata、multi-hop graph retrieval 和一个数学推理任务上测试，结果显示更长的 sleep 时长会提升性能，且在需要更深层推理的样本上增益最大；作者指出这为长时间运行的 agents 提供了替代不断扩大 KV cache 的思路。