发生了什么
Xenova 发布 Fable 5 的 Gemma 4 WebGPU 优化 Demo(255 tok/s)
为什么值得关注
提供了可验证的demo和kernels，展示了agentic kernel optimization的实际效果，值得关注端侧推理优化方法。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Fable 5发布Gemma 4 WebGPU优化demo
Xenova宣布发布Fable 5为Gemma 4编写的自定义WebGPU kernels demo，该demo在WebGPU上实现了255 tok/s的推理速度，较之前的84 tok/s有显著提升。该优化采用agentic kernel optimization，被认为是端侧推理的未来方向。
打开原始来源 ↗