Introducing DiffusionBlocks: Block-wise Ne

Introducing DiffusionBlocks: Block-wise Ne

研究团队提出DiffusionBlocks框架，通过将神经网络按块训练来显著降低内存需求，同时在ViT、DiT、Masked diffusion、Autoregressive transformers和Recurrent-depth transformers等五种架构上验证了性能与端到端训练相当。该方法将Looped transformers的多次迭代替换为单次前向传播，避免昂贵的BPTT。