发生了什么
SGLang 评测 DSpark (8 卡 B200, 297 token/s, 1.81 倍加速, 2.9‑5.2 ms 延迟)
为什么值得关注
单并发时加速比最高，延迟极低，值得关注后续合并后的性能
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
实测DSpark加速与延迟
SGLang 通过 DSpark 实测显示，数学Prompt 预测 3.37 个 token，日常对话 3 个，代码 3.52 个，在 1K 长度 Prompt 下以 8 卡 B200 GPU 达到 297 token/s，较未使用 DSpark 的 164 token/s 提升 1.81 倍，单并发加速最高，超过 8 并发时提升降至 1.2‑1.3 倍，TPOT 延迟 2.9‑5.2 ms，几乎可忽略。
打开原始来源 ↗