When Does LeJEPA Learn a World Model?

When Does LeJEPA Learn a World Model?

Yann LeCun 的最新论文探讨了 LeJEPA 在何时真正学习隐藏世界变量，并发现高斯结构是关键。相比于仅产生有用特征的自监督模型，论文证明在隐藏变量为独立高斯且观测视图来自稳定噪声过程时，最优 LeJEPA 解必须在旋转或翻转等变换下恢复这些变量。