发生了什么
Moonshot 发布 Kimi K3(2.8T MoE,1M-token)
为什么值得关注
新增了MoE架构效率提升的技术特性,ocuments开源栈的高性能实现细节
信息来源
以下内容来自公开来源,可打开原文继续核验。
Moonshot Kimi K3模型权重与技术报告发布
Moonshot(Kimi.ai)发布了Kimi K3的模型权重和技术报告,Kimi K3是2.8T MoE架构模型,支持1M-token上下文窗口和原生视觉理解能力,声称其计算效率比前代提升2.5倍而非仅增加参数量。
打开原始来源 ↗Kimi K3 开源权重及技术报告
Kimi.ai 开源其最强模型 Kimi K3 的权重和技术报告。Kimi K3 是一个 2.8T 参数的 MoE 模型,支持原生视觉理解和 1M token 上下文窗口,采用新架构使每单位计算智能提升 2.5 倍。同时开源高性能 attention kernels、MoE 通信库和用于规模化运行 agent 环境的基础设施。
打开原始来源 ↗Kimi K3 开源模型权重和技术报告发布
Kimi.ai 开源了 Kimi K3 模型权重和技术报告。Kimi K3 是一个 2.8T 参数的 MoE 模型,具备原生视觉理解和 1M token 上下文窗口,新架构实现每单位计算智能提升 2.5 倍。同时开源了高性能 attention kernels、MoE 通信库和 Agent 运行基础设施。
打开原始来源 ↗Kimi K3 开源模型发布
Kimi.ai 发布 Kimi K3,一个 2.8T 参数的 MoE 开源模型,具备原生视觉理解和 1M token 上下文窗口。采用新架构实现每单位计算智能提升 2.5 倍,并开源高性能注意力内核、MoE 通信库和 Agent 运行基础设施。这是目前最大的开源模型。
打开原始来源 ↗Kimi K3 模型发布
Kimi 发布 K3 模型的权重和技术报告,该模型为 2.8T MoE,支持原生视觉理解,上下文窗口达 1M tokens。新架构在单位算力下的智能提升约 2.5 倍,且开放高性能注意力核、MoE 通信库及大规模 Agent 环境运行基础设施。
打开原始来源 ↗Kimi K3: 2.8T MoE开源模型发布
Kimi(月之暗面)发布并开源其最强模型Kimi K3,采用2.8T MoE架构,具备原生视觉理解能力和1M token上下文窗口,新架构使智能每计算单元提升2.5倍。同时开放技术报告、高性能注意力内核、MoE通信库及agent基础设施。
打开原始来源 ↗