发生了什么
BitCPM4-CANN 开源 1.58-bit ternary LLM(0.5B/1B/3B/8B)
为什么值得关注
值得关注其低比特训练而非事后量化的实现方式，以及在无需特殊 kernels 前提下实现的约 6 倍推理内存节省与较小训练开销，适合参考复现。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
BitCPM4-CANN 开源
BitCPM4-CANN 开源，采用 Apache 2.0 许可证，训练阶段就保持权重为 {-1, 0, 1} 的 1.58-bit ternary LLM，而不是训练后再量化。该系列提供 0.5B、1B、3B、8B 四个模型尺寸，并提供 GGUF 版本。官方称其在 1B/3B/8B 上保留了 full-precision MiniCPM4 的 95.7%~97.2% 性能，推理内存占用约降低 6 倍，训练开销仅增加 5%，且无需特殊 kernels。
打开原始来源 ↗