AMD 发布 Instella 16B MoE 基础模型

AMD 发布 Instella 16B MoE 基础模型

AMD 发表 Instella 16B MoE 基础模型，全程开源，提供预训练、长上下文、精调、DPO 及强化学习等多个阶段的检查点，公布数据集、训练方案及复现代码，这是 AMD 首个 MoE 基础模型，也是首个采用 FarSkip 架构的模型。