vLLM打平DeepInfer，反转

陆陆开源 · 2026-10-25T15:52:18

最近在 X 上刷到一条，说 DeepSeek 自研的推理引擎 DeepInfer，被 vLLM 用一组叫 DEP32 的配置给打平了。 开源把官方引擎掀翻，这剧本听着挺带劲的。 DeepInfer 是 DeepSeek 上个月刚开源的推理引擎，Apache 2.0 协议。 官宣那天 5 小时冲到 150 万浏览，24 小时涨到约 1.7 万 GitHub 星。 乍看真是一颗响雷。 不过我翻了翻官方 README，发现这事儿有意思。 DeepInfer 自己就是搭在 vLLM 上分出来的。 项目说明里写得很明白，基于 vLLM 构建，同时借鉴了 SGLang 和 TensorRT-LLM。 连代码开头的注释都承认，这是从 vLLM 改出来的分支。 那拿 vLLM 去对决它，基本是拿它自己磨的那把刀砍自己。 开源打平官方的叙事，前提先松了一半。 那到底谁快呢。 目前唯一能同型号硬件对比的，是 GPUStack 的第三方实测，单台 8 张 B200，10 月 22 号跑的，两边都声明还没调到最优。 顺带一提，那组配置叫 DEP32，官方文档里查无出处，是发帖人自己的口径。 结果算互有胜负吧。 DeepInfer 平均输出每秒 1392 个 token，vLLM 是 1112 个，高了大概四分之一。 首 token 反过来了，就是点发送到蹦出第一个字那一下，vLLM 只要 2.04 秒，DeepInfer 要 4.28 秒，差了一倍还多。 最慢那 5% 请求的延迟，也就是 P95，也还是 vLLM 领先。 所以真不是一边倒，是各拎一头。 开源放出来的东西也比想象中少。 缓存系统、推理前后段分离部署、负载均衡，这些全都没给。 支持的硬件也窄，只有 NVIDIA 的新架构 SM100 和华为昇腾。 DeepSeek 自己还承认，开源版 FlashMLA 少了一段手写底层优化，解码比完整版慢 5% 到 10%。 想自己部署玩玩的话，先看卡在不在支持清单里。 H100 这批老卡，是跑不了的。