发生了什么
vLLM 发布 AFD 插件
为什么值得关注
首次将 AFD 技术集成到 vLLM，可独立扩缩 attention 和 expert，对 MoE 推理效率有实际优化。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
vLLM 发布 AFD 插件实现 MoE 推理优化
vLLM 发布实验性插件 vLLM AFD Plugin，实现 Attention-FFN Disaggregation (AFD)，将 MoE 模型的注意力路径与专家路径分离为独立服务，支持独立扩缩，兼容 NVIDIA GPU 和 Ascend NPU。
打开原始来源 ↗