2026年10月25日 · 星期日

vLLM 在 AgentX 实现 95.4 万 tokens/s/GPU

按 DeepSeek 错峰定价,vLLM 在 SemiAnalysis 的 AgentX 真实 Agent 负载上跑出每 GPU 小时 38.96 美元收入,缓存、输入、输出三者加总的吞吐达到 954K tokens/s/GPU。

vLLM 在 AgentX 真实 agentic 工作负载上的吞吐与单位收入基准。

vLLM 团队并未止步于追平 DeepInfer 的基准数字,而是把 vLLM 送进了 SemiAnalysis 的 AgentX 真实 agentic 工作负载里检验。按 DeepSeek 错峰定价计算,vLLM 每 GPU 小时贡献 38.96 美元收入;缓存、输入与输出加总,总吞吐达到 954K tokens/s/GPU,其中生成速度约 196 tokens/s。这组数字把推理引擎的商业价值从纸面基准拉回到真实部署的现金回报,也让「推理基础设施的利润率在哪里」这一问题重新浮出水面——答案越来越明确地指向 serving 层本身,而非单纯的模型质量。

SGLang 公布的与 DeepInfer 在 prefill / decode 两端的对比结果。

SGLang 在 DeepInfer 基准全面追平

SGLang 在 prefill 与 decode 两端均追平 DeepInfer:4×GB300/B300 的 prefill 吞吐最高达 1.04 倍,64×GB300 的 decode 提升 7.4%,并附端到端复现指南。

Let's work together to build Europe's AI economy and put AI to work.

行业信号 · INDUSTRY SIGNALS10.25
研究与观点 · RESEARCH & OPINION10.25
快讯 · QUICK NOTES10.25

© 2026 FAV0 · AI Daily

MORE·