发生了什么
Nous Research 提出 Lighthouse Attention，一种在训练阶段包裹标准自注意力的层次选择机制，可在训练结束前移除，保持推理时的原始注意力，从而加速长序列预训练并降低损失。
为什么值得关注
该研究提供了提升大模型长序列训练效率的关键技术，对 AI 研发具有重要参考价值。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Nous Research 提出 Lighthouse Attention
Nous Research 提出 Lighthouse Attention，一种在训练阶段包裹标准自注意力的层次选择机制，可在训练结束前移除，保持推理时的原始注意力，从而加速长序列预训练并降低损失。
打开原始来源 ↗