RAEv2

RAEv2

谢赛宁团队、Adobe Research 和 ANU 发布了 RAEv2，面向视觉重建、扩散模型、原生多模态、语义对齐、图像生成和世界模型。RAEv2 在原始 RAE 基础上提出 3 个发现：一是潜在表征不只取 pretrained vision encoder 最后一层，而是将最后 K 层特征相加，原始 RAE 对应 K=1；该改动不增加额外推理成本，并提升生成与理解及图像重建质量。二是 RAE 与 REPA 机制互补，在 27 个编码器上联合使用通常优于单独使用；三是 REPA 可实现 self-guidance，将输出头重表述为 x 预测后，REPA 头本身可用于内部引导，无需额外训练 AutoGuidance，也不增加推理时 CFG 前向计算。