发生了什么
Moonshot AI 发布 Kimi K3(2.8万亿参数)
为什么值得关注
Kimi K3的Delta Attention和Attention Residuals是区别于已知大模型的关键技术点，值得跟进。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Kimi K3发布：2.8万亿参数模型
Moonshot AI 发布 Kimi K3 模型，2.8 万亿参数，百万 tokens 上下文，原生多模态；采用 Kimi Delta Attention 实现百万 tokens 解码速度 6.3 倍提升，Attention Residuals 以小于 2% 额外成本提升训练效率约 25%；已上线多个平台，开源权重承诺 2026 年 7 月 27 日。
打开原始来源 ↗