发生了什么
Google 发布 DiffusionGemma(26B)
为什么值得关注
可关注其并行生成技术在本地部署的性能优势,适合评估加速推理方案。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
Google 发布 DiffusionGemma
Google 推出开源实验性模型 DiffusionGemma,采用 26B 参数的 MoE 架构,仅激活 3.8B 参数,量化后可在 18GB 显存运行,并实现每次前向生成 256 条 token,推理速度提升约 4 倍,H100 上可达 1000+ token/s,RTX 5090 上约 700+ token/s。
打开原始来源 ↗