AI 精选动态
智能评分 63
Language models need "sleep"
AI 推荐理由
这篇内容给出了一个可复现的 agent 记忆/计算分离方案，并在多个任务上展示了 sleep 时长与性能的关系，适合关注长上下文推理与低延迟 agent 架构的人点开原文。核心解读
DAIR.AI 转引一篇关于长上下文 agent 的论文，提出让语言模型在运行中加入类似“睡眠”的离线巩固步骤：模型会周期性地对最近上下文做 N 次离线递归前向，然后把结果写入 state-space blocks 的 persistent fast weights，并清空 KV cache。这样可把额外计算挪到“睡眠”阶段，同时保持“清醒”时的预测低延迟。论文在 cellular automata、multi-hop graph retrieval 和一个数学推理任务上测试，结果显示更长的 sleep 时长会提升性能，且在需要更深层推理的样本上增益最大；作者指出这为长时间运行的 agents 提供了替代不断扩大 KV cache 的思路。