返回精选
AI 精选动态 智能评分 60

来源: twitter关注列表
作者: Nous Research (@NousResearch)
发布于: 2026-05-15
收录于: 2026-05-15
AI 推荐理由
展示AI模型训练算法创新,对大模型开发具有技术价值
核心解读
研究团队提出Lighthouse Attention算法,通过分层注意力机制降低极长序列训练的时间和内存消耗,实现子二次方时间复杂度,并在预训练阶段显著提升LLM训练效率。
#算法创新#LLM训练#长上下文