Full Attention Strikes Back: Transferring

Full Attention Strikes Back: Transferring

Alibaba 和 Nanjing Univ 的论文提出 RTPurbo，称可在仅进行轻量适配的情况下，将百万 token prefill 速度相对 FlashAttention-2 提升最高 9.36 倍，并将 decoding 速度提升约 2 倍。论文认为标准 full-attention LLM 已包含隐藏的稀疏结构，因此无需从头重训；RTPurbo 通过识别少数需要远距离 token 的 attention heads，并用 16 维 token finder 先筛选旧 token，再只对候选集合执行真实 attention。作者在长上下文基准和推理任务上测试后表示，RTPurbo 在保持接近 full attention 准确率的同时，实现了上述加速。