UFP4：均匀网格FP4训练方法

UFP4：均匀网格FP4训练方法

Ant Ling团队发布论文，提出UFP4均匀网格FP4训练方法，在1.5B Dense、7.9B MoE和124B MoE长程预训练中，其质量比强E2M1基线更接近BF16。关键洞察是FP4训练质量不仅取决于位宽，还取决于网格几何。