AI 精选动态
智能评分 75
AI 推荐理由
该研究提供了提升大模型长序列训练效率的关键技术，对 AI 研发具有重要参考价值。核心解读
Nous Research 提出 Lighthouse Attention，一种在训练阶段包裹标准自注意力的层次选择机制，可在训练结束前移除，保持推理时的原始注意力，从而加速长序列预训练并降低损失。