发生了什么
月之暗面 开源 Kimi K3(2.8T参数)
为什么值得关注
与仅开放权重的开源不同,K3同时开源底层推理内核、通信库和训练环境,值得关注其架构创新对开源生态的实际影响。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
月之暗面开源K3模型及全栈技术
月之暗面开源Kimi K3模型,总参数2.8T、激活104B的MoE架构,原生支持100万上下文,并同时开源高性能注意力内核FlashKDA、MoE通信库及Agent训练环境AgentENV等全套底层技术栈。该模型在长编码、Agent等任务上已能与第一梯队闭源模型竞争,声称将开源与闭源的代差从两年缩短至半年。
打开原始来源 ↗02
Kimi 开源 K3 模型,2.8T 参数全权重放送
月之暗面开源 K3 模型,总参数 2.8T,MoE 架构,激活参数 104B,原生支持 100 万上下文,并开源 FlashKDA 推理内核、MoE 通信库、Agent 训练环境等底层技术栈。通过 KDA 注意力和 AttnRes 架构创新,单位算力智能密度提升 2.5 倍,长上下文解码速度提升 6 倍。
打开原始来源 ↗