AI 精选动态
智能评分 66
RAEv2
AI 推荐理由
可以重点看最后 K 层相加、RAE/REPA 互补以及 self-guidance 三点,这些都直接对应可复现的表征设计和推理优化。核心解读
谢赛宁团队、Adobe Research 和 ANU 发布了 RAEv2,面向视觉重建、扩散模型、原生多模态、语义对齐、图像生成和世界模型。RAEv2 在原始 RAE 基础上提出 3 个发现:一是潜在表征不只取 pretrained vision encoder 最后一层,而是将最后 K 层特征相加,原始 RAE 对应 K=1;该改动不增加额外推理成本,并提升生成与理解及图像重建质量。二是 RAE 与 REPA 机制互补,在 27 个编码器上联合使用通常优于单独使用;三是 REPA 可实现 self-guidance,将输出头重表述为 x 预测后,REPA 头本身可用于内部引导,无需额外训练 AutoGuidance,也不增加推理时 CFG 前向计算。