发生了什么
NVIDIA 发布 Audex(30B总参/3B活跃)
为什么值得关注
Audex通过MoE结构在30B总参下仅激活3B参数,实现音频多模态高效扩展;值得关注其音频理解与生成的一体化架构。
信息来源
以下内容来自公开来源,可打开原文继续核验。
01
Audex:30B总参音频MoE
NVIDIA发布Audex,一个30B总参数/3B活跃参数的音频-文本MoE模型,基于Nemotron-Cascade-2构建。它在BigBenchAudio(90.0)、Audio Entailment AudioCaps(95.6)和CMM(90.3)上取得高分,同时保持文本推理能力。模型覆盖音频理解、ASR、语音翻译、TTS、语音生成和音频生成,训练使用157.4B音频tokens和320.5B文本tokens,采用多阶段SFT+级联RL。
打开原始来源 ↗