发生了什么
Unsloth 开源 Kimi K2.7 Code 量化版(1T参数, 325GB, >40 tok/s)
为什么值得关注
值得关注其动态量化方法，可在大模型本地部署中复现，尤其适合长程任务和 agent 工作流。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
Unsloth 将 Kimi K2.7 Code 量化至 325GB 本地运行
Unsloth 通过动态 2bit 量化将 1 万亿参数的 Kimi K2.7 Code 模型压缩 48% 至 325GB，使其可在 330GB RAM/VRAM 本地运行，速度超过 40 tok/s，全精度需 610GB。该优化保留了关键层精度，使大型 coding 模型的本地闭环成为可能。
打开原始来源 ↗