发生了什么
AMD 发布 ATOM+ATOMesh 协同优化 技术博客(2 篇)
为什么值得关注
AMD MI355X在大型MoE模型上实现Nvidia B200的性能差距,提供了低成本的硬件替代方案,值得关注。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
AMD MI355X 接近 Nvidia B200 性能
MiniMax团队宣布AMD MI355X GPU现已达到与Nvidia B200相当的MiniMax-M3推理性能,并发布了两份技术博客,详细介绍了为该公司428B MSA稀疏MoE多模态基础模型提供的ATOM+ATOMesh全栈协同优化方案。优化方案包括EAGLE3猜测解码(降低生成延迟)、MSA对齐的Page-16 KV缓存(支持1M超长上下文)、分层FP8量化(防止视觉/MoE精度下降)以及分布式P/D分离架构(适用于大规模集群)。
打开原始来源 ↗