发生了什么
MiniMax 发布 MiniMax M3(1M token)
为什么值得关注
详细披露了 MSA 稀疏注意力机制的实现细节及 vLLM 的 Day-0 部署方案，对超长上下文推理优化有参考价值。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
MiniMax 发布 M3 开源模型
MiniMax 发布开源模型 MiniMax M3，支持 1M-token 上下文窗口，采用 MSA 稀疏注意力架构（通过 128-token KV 块评分仅对顶层块运行注意力）。vLLM 提供 Day-0 支持，在 NVIDIA 和 AMD 硬件上验证，支持 BF16 和 MXFP8 精度以及 Hopper 和 Blackwell 的 MoE 后端。
打开原始来源 ↗