发生了什么
Kimi K3 发布 获得 SGLang 推理与 Miles 训练支持(混合KDA/MLA架构,ReplaySSM)
为什么值得关注
ReplaySSM 是一种新的状态复用方法,值得关注其对长序列推理效率的实际提升,建议进一步阅读原文了解实现细节。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
Kimi K3 上线即获 SGLang 推理与 Miles 训练支持
Kimi K3 采用混合 KDA/MLA 架构,SGLang 与 Miles 团队为其推理栈提供首日兼容,包括状态缓存、推测解码和并行策略优化。ReplaySSM 通过重放输入替代逐步状态快照,将推理、预填充与 LoRA 强化学习串成可验证链路,但性能数据基于特定硬件不能直接外推。
打开原始来源 ↗