AI 精选动态
智能评分 85
AI 推荐理由
展示了 LLM 预训练效率优化的重要技术突破，对 AI 开发者具有重要参考价值核心解读
Nous Research 发布 Token Superposition Training（TST），一种在模型预训练阶段通过对 token 进行分组处理的技术，在不改变模型架构和训练数据的前提下，实现了 2-3 倍的训练速度提升。该技术已在 270M、600M、3B 密集模型和 10B-A1B 稀疏模型上验证，由 @bloc97_、@gigant_theo 和 @theemozilla 团队主导。