AI 精选动态
智能评分 60
Unsloth 将 Kimi K2.7 Code 量化至 325GB 本地运行
AI 推荐理由
值得关注其动态量化方法，可在大模型本地部署中复现，尤其适合长程任务和 agent 工作流。核心解读
Unsloth 通过动态 2bit 量化将 1 万亿参数的 Kimi K2.7 Code 模型压缩 48% 至 325GB，使其可在 330GB RAM/VRAM 本地运行，速度超过 40 tok/s，全精度需 610GB。该优化保留了关键层精度，使大型 coding 模型的本地闭环成为可能。