返回行业动态
模型与产品

vLLM 0.32.0 把结构化判断做成正式接口,同时修掉三个 API 可达漏洞

10 月 18 日,开源推理引擎 vLLM 发布 0.32.0,包含 814 次提交。新增 /v1/systemone 结构化决策接口,一次读取首 token 即返回选项概率;通用 hf 解析器免去逐模型适配;同时修复三处可由 API 触发的拒绝服务漏洞,并带来 CORS 默认关闭等破坏性变更。

来源:vLLM GitHub Releases原标题:vLLM v0.32.0 release notes查看原文
服务器机架剖面,数据光流从中央调度器分发到多排 GPU 节点

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

10 月 18 日,开源推理引擎 vLLM 发布 0.32.0,包含 814 次提交、363 名贡献者(其中 121 人首次参与)。这一版的重点不是新模型或新量化,而是把「结构化判断」提升为引擎的一等接口,同时修掉三个可由 API 客户端触发的拒绝服务漏洞。

新增的 POST /v1/systemone 接受一类「关于某个状态的有类型提问」:多选(choice)、是或否(noul)与打分(score),一次前向读取首个 token 即返回各选项概率与置信度,而不是逐字生成整段文本。

三项值得关注的变化

  • 结构化决策接口:分类、路由、评分类流量不必再走完整生成流程,对智能体调度与风控判定这类高频短请求,延迟与成本结构会明显不同;
  • 通用解析器:--tool-call-parser hf 与 --reasoning-parser hf 直接读取模型权重自带的 response_template,新模型接入不再依赖社区逐个补专用解析器;
  • 安全修复:聊天模板资源耗尽、tokenizer max_token_id 差一错误、P2P ZMQ socket 耗尽三处漏洞均通过 API 可达,其中前两项已分配 GHSA 编号。

升级前必须处理的破坏性变更

这一版被官方标注为破坏性发布。跨域默认策略从「允许所有来源」改为「不允许任何来源」,浏览器直连 vLLM 的服务必须显式配置 --allowed-origins;Python 最低版本提高到 3.11;transformers 要求 5.16.1 以上;--disable-cascade-attn 仅保留告警,下一版移除。多 API worker 场景引入最少负载路由,官方称短请求吞吐提升 43% 至 85%。NVFP4 KV 缓存下放到 SM8x、SM90 与 SM12x,ROCm 侧新增 4 bit 缓存。

不确定之处

吞吐与延迟数字来自官方与社区测试,尚无独立复现;systemone 的效果依赖模型能否把标签稳定输出为单 token,跨模型通用性需要在自有用例上验证。对生产环境而言,更稳妥的做法是先在灰度集群完成依赖与启动参数改造,再评估结构化接口能否替换现有的分类链路。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

vLLM 0.32.0:结构化决策接口上线,三项破坏性变更需注意|北京拓实科技