发生了什么
10 月 18 日,开源推理引擎 vLLM 发布 0.32.0,包含 814 次提交、363 名贡献者(其中 121 人首次参与)。这一版的重点不是新模型或新量化,而是把「结构化判断」提升为引擎的一等接口,同时修掉三个可由 API 客户端触发的拒绝服务漏洞。
新增的 POST /v1/systemone 接受一类「关于某个状态的有类型提问」:多选(choice)、是或否(noul)与打分(score),一次前向读取首个 token 即返回各选项概率与置信度,而不是逐字生成整段文本。
三项值得关注的变化
- 结构化决策接口:分类、路由、评分类流量不必再走完整生成流程,对智能体调度与风控判定这类高频短请求,延迟与成本结构会明显不同;
- 通用解析器:--tool-call-parser hf 与 --reasoning-parser hf 直接读取模型权重自带的 response_template,新模型接入不再依赖社区逐个补专用解析器;
- 安全修复:聊天模板资源耗尽、tokenizer max_token_id 差一错误、P2P ZMQ socket 耗尽三处漏洞均通过 API 可达,其中前两项已分配 GHSA 编号。
升级前必须处理的破坏性变更
这一版被官方标注为破坏性发布。跨域默认策略从「允许所有来源」改为「不允许任何来源」,浏览器直连 vLLM 的服务必须显式配置 --allowed-origins;Python 最低版本提高到 3.11;transformers 要求 5.16.1 以上;--disable-cascade-attn 仅保留告警,下一版移除。多 API worker 场景引入最少负载路由,官方称短请求吞吐提升 43% 至 85%。NVFP4 KV 缓存下放到 SM8x、SM90 与 SM12x,ROCm 侧新增 4 bit 缓存。
不确定之处
吞吐与延迟数字来自官方与社区测试,尚无独立复现;systemone 的效果依赖模型能否把标签稳定输出为单 token,跨模型通用性需要在自有用例上验证。对生产环境而言,更稳妥的做法是先在灰度集群完成依赖与启动参数改造,再评估结构化接口能否替换现有的分类链路。

