一句话判断
新增了MoE架构效率提升的技术特性,ocuments开源栈的高性能实现细节
核心信息
Moonshot(Kimi.ai)发布了Kimi K3的模型权重和技术报告,Kimi K3是2.8T MoE架构模型,支持1M-token上下文窗口和原生视觉理解能力,声称其计算效率比前代提升2.5倍而非仅增加参数量。
原始内容
相关动态
Kimi K3 is now available for inference & training in @FireworksAI_HQ
Kimi K3, a 3 trillion parameter open model with 1M context, native vision, and reasoning that rivals top closed models, is now available for inference and training on Fir...
Kimi开源FlashKDA内核
Kimi团队开源了FlashKDA(基于CUTLASS的Delta Attention内核),在H20上相比flash-linear-attention基线实现了1.72x-2.22x的预填充加速,可作为即插即用后端。
Kimi K3 开源模型发布
Kimi.ai 发布 Kimi K3,一个 2.8T 参数的 MoE 开源模型,具备原生视觉理解和 1M token 上下文窗口。采用新架构实现每单位计算智能提升 2.5 倍,并开源高性能注意力内核、MoE 通信库和 Agent 运行基础设施。这是目前最大的开源模型。
月之暗面开源AgentENV
月之暗面与kvcache-ai合作开源AgentENV,这是一个用于大规模运行智能体环境的分布式系统,支持快速快照、恢复和分支,已用于Kimi K3的智能体强化学习训练。
Kimi K3 全球首个开源 3T 级模型发布
Moonshot 发布 Kimi K3,为全球首个开源 3T 级模型,拥有 2.8T 参数、1M token 上下文、16/896 专家激活,性能仅次于 Fable 5 和 GPT-5.6 Sol,原生支持文本、图像和视频理解,缩放效率是 Kimi K2 的约 2.5 倍,已在 ModelScope 上线。