发生了什么
提出Lighthouse Attention算法优化LLM长序列训练效率
为什么值得关注
展示AI模型训练算法创新，对大模型开发具有技术价值
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
研究团队提出Lighthouse Attention算法
研究团队提出Lighthouse Attention算法，通过分层注意力机制降低极长序列训练的时间和内存消耗，实现子二次方时间复杂度，并在预训练阶段显著提升LLM训练效率。
打开原始来源 ↗01
Hao AI Lab 在 UCSD 发布 Core Attention Disagg
Hao AI Lab 在 UCSD 发布 Core Attention Disaggregation（CAD）技术，通过将核心注意力与线性部分分离，消除长上下文训练中 GPU 工作负载不平衡，实现近线性扩展。
值得跟进