发生了什么
NVIDIA AI 发布 DFlash(开源、15x吞吐量)
为什么值得关注
与逐 token 推测不同,DFlash 一次性生成整个块供并行验证,这一方法创新值得关注开源实现并尝试集成。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
DFlash:开源块扩散推理模型
NVIDIA AI 发布 DFlash,一个开源的轻量块扩散模型,用于投机解码,在 NVIDIA Blackwell 上推理吞吐量提升 15 倍,支持 SGLang、TensorRT-LLM 和 vLLM。
打开原始来源 ↗