发生了什么
Hao AI Lab 发布 JetSpec 投机解码技术(9.64x 加速)
为什么值得关注
与普通投机解码相比，JetSpec 展示了因果并行树草稿的具体加速倍数和硬件实测 TPS，值得关注其与推理引擎的整合进展。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Hao AI Lab 发布 JetSpec 投机解码技术
Hao AI Lab 提出 JetSpec 技术，通过因果并行树草稿优化投机解码的草稿成本与质量，在 MATH-500 上实现最高 9.64 倍端到端加速，在开放聊天任务上实现 4.58 倍加速，且保持无损；结合 CUDA 图与内核优化，在单块 B200 上达到约 1000 TPS。
打开原始来源 ↗