发生了什么
SemiAnalysis 分析 推理优化与成本趋势
为什么值得关注
提供了具体的软件与硬件优化组合带来的实际吞吐量倍数，以及 token 成本结构性下降的预测，值得阅读原文获取完整数学和厂商拆分。
信息来源
以下内容来自公开来源，可打开原文继续核验。
01
SemiAnalysis：推理优化使token成本结构性下降
SemiAnalysis 发布 AI 价值捕获分析，透露其员工月均消费近 50 亿 tokens（Meta 的 5 倍），token 支出占薪酬 30%。通过软件优化（wideEP+disagg+MTP）可将 B300 上 DeepSeek R1 吞吐量从 FP8 的 1000 tok/s/GPU 提升至约 14000（14x），GB300 NVL72 可达 H100 最优配置的 17x（FP8）或 32x（FP4），预示 token 成本将结构性下降。
打开原始来源 ↗