发生了什么
2026 年 10 月 12 日,阿里千问正式发布在线强化学习框架 QwenGyre,专门面向超长程智能体(long-horizon agent)任务。这类任务在编码智能体上尤为典型:模型需要读取仓库、修改多个文件、运行测试、分析报错、回滚错误修改、重新设计实现,往往持续数小时、经历数百轮模型与环境的交互,单条轨迹累计消耗 70 万乃至接近 100 万 token。QwenGyre 通过弹性调度与轨迹处理,让这类超长程任务成为有效的训练来源。
它要解决的两个系统瓶颈
- 最慢的任务拖垮流水线:任务执行时长高度不均匀,传统在线强化学习要做到「整批同时起跑、同时到达」才能开始训练;只要有一条长任务没跑完,相关算力就被占用、训练侧 GPU 只能空等。
- 轨迹爆炸与浪费:智能体在交互中会反复试错、回滚、重复读文件,若把全部交互历史原样喂给训练,会引入大量重复路径与低价值片段,推高显存与反向传播开销。
QwenGyre 的做法
- 弹性调度:把 GPU 划分为可动态调整的计算单元,任务每结束一批,空出的单元立即转入训练;仍在执行的任务不被打断,进度、状态与已算缓存原地保留。
- 轨迹树:通过 Token-in / Token-out 记录每段输出生成时的真实上下文,按共享前缀组织成树,只把被选中的路径展开为训练样本。
- Partial Scoring:超时但部分完成的任务也能提供有效反馈,回收此前会被丢弃的训练信号。
实测结果
官方公布的 NL2RepoBench 实验显示:在每次 rollout 约 70 万 token 的任务上,经 48 步在线强化学习训练,模型通过率由 52.5% 提升至 58.5%;在相同 GPU 预算下,QwenGyre 相对 Async 实现取得约 1.78 倍的端到端加速,训练分数与 Async、Colocate 基本接近。在 Qwen3.6-122B 上的跨任务验证中,NL2RepoBench、DeepSWE、TerminalBench 三类任务均获得端到端提速。官方强调,其价值不只是「跑得更快」,而是在不明显牺牲训练效果的前提下,减少长程智能体训练中被浪费的等待时间。
为什么对企业有意义
长程智能体是当前各实验室主推的方向,而「训练用的轨迹」与「生产环境里跑的工具链」若不统一,就会出现训练/部署落差。QwenGyre 支持在未经修改的黑盒 Harness 上训练,使模型能对齐生产环境所用的同一套工具;对自建智能体训练管线的团队而言,弹性调度思路也直接关系到 GPU 利用率与训练成本。
不确定之处
第一,公开报道对「是否提供公开代码仓库与许可证」口径不一,部分来源指出未见明确的公开实现,实际可复现性待确认。第二,上述加速比与通过率提升均为阿里千问自测,尚无第三方复现。第三,1.78 倍提速衡量的是端到端训练时长,不等于单位算力产出的等价提升;在长任务比例较低的场景,收益可能明显缩水。

