发生了什么
llama.cpp 为 Qwen3.6 家族添加 MTP 支持并在基准测试中实现超过 2 倍推理加速。
为什么值得关注
这是直接影响本地推理性能的工程进展，能帮助从业者评估 speculative decoding/MTP 在实际部署中的收益与适用场景。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
llama.cpp 新增了对 Qwen3.6 家族的 MTP（Multi Token
llama.cpp 新增了对 Qwen3.6 家族的 MTP（Multi Token Prediction）支持，作者给出的测试显示在 DGX Spark 上吞吐可从约 7 tok/s 提升到 13.9–21.6 tok/s，整体加速大约 2x 以上。这个更新意味着本地推理生态在消费级/通用硬件上的性能边界继续被推高，对离线部署和低成本推理很有参考价值。
打开原始来源 ↗02
llama.cpp 为 Qwen3.6 系列加入 MTP（Multi Token P
llama.cpp 为 Qwen3.6 系列加入 MTP（Multi Token Prediction）支持后，本地推理速度显著提升；示例中在 A10G 上，Qwen3.6-27B dense generation 从 25 tok/s 提升到 45 tok/s，提升约 78%。这说明开源本地推理栈在通用硬件上的效率继续逼近可日常使用水平，对本地部署和低成本推理具有直接意义。
打开原始来源 ↗