发生了什么
Kimi K3 技术报告 分析 模型架构(2.8万亿参数)
为什么值得关注
新增了三处架构改动细节及算力效率提升至 2.5 倍的具体数据，值得阅读原文了解改动方法。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Kimi K3 技术报告解读
Kimi K3 技术报告解读指出，该模型拥有 2.8 万亿参数，采用 896 个 MoE 专家（每次激活 16 个），通过三处架构改动将算力效率提升至 2.5 倍，训练使用了 5122 万个沙箱。
打开原始来源 ↗