发生了什么
Google 开源 DiffusionGemma(26B MoE)
为什么值得关注
如果关注本地推理和编辑式生成,这篇值得看它如何用 256-token 并行草稿、MoE 激活参数和量化显存占用换取速度。
信息来源
以下内容来自公开来源,可打开原文继续核验。
Google开源新模型
Google 发布了实验性开源模型 DiffusionGemma,采用类似图像扩散的并行生成方式,一次先起草整个 256-token block,再经过多轮精炼收敛,而不是按 token 逐个生成。Google 表示它在专用 GPU 上最高可比常规 Gemma 快 4 倍,在 H100 上可达 1000+ tokens/sec,在 RTX 5090 上可达 700+ tokens/sec;该模型是 26B Mixture of Experts,激活参数仅 3.8B,量化后可放入 18GB VRAM 以下。Google 还表示它的输出质量低于标准 Gemma 4,定位是追求速度的本地工作场景,权重已在 Hugging Face 以 Apache 2.0 许可证开放。
打开原始来源 ↗