发生了什么
Niels Rogge 发表 Nemotron 3 Ultra 技术报告(550B-A55B)
为什么值得关注
可重点查看其 65 页报告末尾的评测表，以及 open-weight、NVFP4 预训练和 Mamba2-Transformer/LatentMoE 组合在长上下文推理效率上的实现细节。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Nemotron 3 Ultra 技术报告
Niels Rogge 转发 Pavlo Molchanov 的帖子，介绍了 Nemotron 3 Ultra（550B-A55B）的 65 页技术报告。该模型被称为其“最强的 open-weight 模型”和完整训练配方，强调面向长上下文 agentic 工作负载的推理效率，并开放了 base、post-trained、reward checkpoints、NVFP4 量化版本、训练数据和 recipes。技术细节包括：总参数 550B、激活参数 55B、Hybrid Mamba2-Transformer（约 4:1 的 Mamba:Attention）、在 NVFP4 上用 20T tokens 预训练、LatentMoE 架构、两阶段 MOPD 后训练以及 Native MTP；原文还提到可在报告底部查看 evals，与其他模型进行比较。
打开原始来源 ↗