发生了什么
Hao AI Lab 推出 Core Attention Disaggregation（CAD）技术，用于解决长上下文大模型训练的 GPU 工作负载不平衡问题。
为什么值得关注
该技术通过分离核心注意力实现更高效的长序列训练，具备显著的可扩展性，对 AI 基础设施发展具有重要意义。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Hao AI Lab 在 UCSD 发布 Core Attention Disagg
Hao AI Lab 在 UCSD 发布 Core Attention Disaggregation（CAD）技术，通过将核心注意力与线性部分分离，消除长上下文训练中 GPU 工作负载不平衡，实现近线性扩展。
打开原始来源 ↗