发生了什么
Canada Quant Labs 发布 GLM-5.2 4-bit 量化版本(744B MoE, 4×H200, 比AWQ/NVFP4快69-79%)
为什么值得关注
此量化方案保留了MTP投机解码头，在低batch下显著加速，值得参考实现。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
GLM-5.2 4-bit量化加速
Canada Quant Labs 将 GLM-5.2 (744B MoE) 的4-bit量化版本，保留MTP draft head BF16，质量匹配FP8，仅需4×H200即可运行，在batch-1下比AWQ/NVFP4快69-79%。
打开原始来源 ↗