蒸馏在AI训练中的现状及争议

蒸馏在AI训练中的现状及争议

Nathan Lambert 分析蒸馏在AI模型训练中的作用及争议。指出深度求是等中国实验室虽声称使用Captcha模型进行蒸馏，但实际样本数量微小，仅用于初始化或小规模实验而非关键训练。争议焦点在于日本研究认为蒸馏效果显著而Nathan则质疑这种观点，并认为企业级蒸馏过程中存在关键问题特别涉及SFT数据生成与性能提升的衔接问题、教师模型选择的不可预测性等现实问题。同时Nathan强调蒸馏技术性能提升趋势正在反转因为大型模型规模增长后SFT与RL的效果比例已显著变化。