发生了什么
[Hao AI Lab] [发布] [JetSpec](高达 1000 TPS)
为什么值得关注
差异点在于其因果并行树结构与实际部署中的高性能数据，值得阅读原文了解实现细节。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
JetSpec 推测解码技术发布
Hao AI Lab 提出 JetSpec，通过保持因果性和轻量级因果并行解码头扩展推测解码树，在 B200 GPU 上对 Qwen3-8B 和 Qwen3-30B-A3B 实现高达 1000 TPS，MATH-500 上端到端加速 9.64 倍，开放聊天加速 4.58 倍，且保持无损。
打开原始来源 ↗