发生了什么
Thinking Machines 发布 Inkling(975B参数,MoE,1M上下文,多模态)
为什么值得关注
这是前 OpenAI CTO 创立公司的首个开源多模态大模型,参数规模近 1T,且采用蒸馏数据训练,值得关注其实际性能和对开源社区的影响。
信息来源
以下内容来自公开来源,可打开原文继续核验。
Thinking Machines 发布 Inkling 模型
前 OpenAI CTO Mira Murati 创立的 Thinking Machines 发布了首个模型 Inkling,采用 MoE 架构,总参数 975B,激活参数 41B,支持 1M 上下文窗口,在 45T 数据上训练,原生支持文本、图像和音频多模态。同时提供激活参数 12B 的 Small 预览版,模型权重开源,后训练数据从 Kimi 2.5 等开源模型蒸馏得到。
打开原始来源 ↗