NVIDIA 压缩混合 MoE 模型论文

NVIDIA 压缩混合 MoE 模型论文

NVIDIA 发布论文，将混合 MoE 模型 Nemotron-3-Super 压缩为 Puzzle-75B-A9B，通过联合结构搜索（异构 MoE 剪枝、活跃参数预算、Mamba 剪枝联合优化），结合蒸馏、RL、量化和多 token 预测头，在 8×B200 节点上实现约 2 倍父模型服务器吞吐量，在 H100 上将 1M token 并发从 1 提升至 8，保持推理、编码、长上下文和智能体基准准确率。