SGLang v0.5.22：权重加载和长上下文解码又快了一截
显卡在燃烧 · 2026-10-25T12:15:08
SGLang 更新到 v0.5.22，这次改动堆得很满。对经常折腾本地部署和跑服务的人来说，最直接的提升在加载和吞吐上：新加的 InstantTensor 让权重加载最高能提速约 10 倍，换模型试参数不用干等半天。 推理性能这块，DeepSeek-V4.1-Flash 在 Hopper 架构上的输出 token 吞吐最高提升约 2.3 倍，GLM-5.3 配合 MTP 解码上下文并行最高提速约 2.1 倍；跑 Agent 类任务时，PD 分离（PD disaggregation）能让吞吐最高涨约 27%，p95 首字延迟差不多砍掉一半。 另外苹果生态这次也跟进了一步，Apple Silicon 支持在 MLX 之外直接用标准的 PyTorch/MPS 后端；做生图的扩散模块也开始支持 ComfyUI 里的社区 GGUF 权重和 LoRA。