Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL

一句话概括

Envs-FORGE 把验证器奖励前置到环境生成环节，为每个种子任务动态选择生成动作。它用混合整数线性规划（MILP）决策，产出可执行、可验证、难度匹配的训练环境。

任务与方法：面向终端智能体（terminal agent）强化学习，把验证器奖励转成逐种子的环境合成动作，用 MILP 选择动作。
关键数字：Qwen 3.5 35B 上 tb-core 的 Pass@1 从 40.0% 升到 49.2%，tb-2.0 从 23.0% 升到 29.4%；SWE-bench Verified 达 77.1%。
数据与规模：所有合成方法均导出 100 个已验证环境，合成 token 消耗 2.27M–2.88M。
开源情况：源码已公开，地址见摘要给出的 GitHub 链接。

终端智能体强化学习需要可执行、奖励可靠、难度合适的训练环境。真正的瓶颈是环境的质量供给，而非模型参数量。

现有主流做法是固定配方（fixed recipe），包括 few-shot、Self-Instruct 和 Evol-Instruct。它们对每个种子任务套用同一套提示策略，例如统一要求改难或生成相似新题。

问题在于：不同种子对当前策略的挑战程度差别很大。有的种子策略已轻松通过，需要加难；有的完全做不出，需要降难或换方向；有的能过但技能覆盖太窄。

固定配方感知不到这些差异，生成的环境要么冗余，要么难度失配，训练效率因此受限。

Envs-FORGE 的核心动机，是把验证器奖励从训练后的评估工具，前置为环境生成过程中的决策信号。

流程可拆成 4 步：

种子通过率估计。 用当前策略模型跑每个种子，得到验证器上的通过率（pass rate），作为后续决策的基础信号。
六方向动作空间。 围绕目标学习前沿（target learning frontier），定义 6 个投影方向动作（projection-direction actions）。摘要未给出这 6 个方向的具体名称。
每种子 MILP 决策。 为每个种子构建混合整数线性规划，决策变量是选哪个方向动作。求解后，选中的动作驱动指令（instruction）、测试夹具（fixtures）、标准答案（oracle solution）、测试用例（tests）与 Docker 环境的同步重写。
金验证过滤与技能覆盖。 只有通过金标准检查的环境包（gold-verified bundles）才进入 RL 训练。索引形式的 MILP 还支持可选的软技能覆盖约束，用于组合规划。

主结果提升。 Qwen 3.5 35B 上，tb-core 的 Pass@1 从 Base 的 40.0% 提升到 49.2%（+9.2 个百分点），tb-2.0 从 23.0% 提升到 29.4%（+6.4 个百分点）。
优于最强固定配方基线。 tb-core 高出 2.4 个百分点，tb-2.0 高出 2.1 个百分点。
跨规模泛化。 在 4B 到 35B 的多个模型规模上，tb-core 均有 6.8–9.2 个百分点的提升。
通用基准表现。 SWE-bench Verified 上达到 77.1%，Base 为 73.4%。
公平对比条件。 所有合成方法均导出 100 个已验证环境，合成 token 消耗在 2.27M–2.88M 之间，训练集规模与算力消耗一致。

这篇工作把环境生成从启发式过程变成可优化的决策问题。它最适用的场景是已有验证器且验证成本可控的领域，例如代码生成、数学推理、SQL 生成。

值得注意的第二点是同步重写。只改指令不改测试，生成的环境往往与原种子测试逻辑雷同。Envs-FORGE 同步改写 5 个要素，更接近真实任务变体，也能防止策略背答案。

对 RL 训练管线设计者，启示是：环境生成策略本身也可以当作一个 RL 问题。用验证器奖励作反馈、用 MILP 作决策器，相当于在生成层面做了一次离线策略优化。

这种思路可推广到其他需要动态生成训练数据的场景，例如对话数据增强与工具调用轨迹合成。

最明显的局限是对验证器的强依赖。没有可靠自动验证器的任务（如开放式写作、创意设计）无法计算通过率，框架会失效。摘要未讨论验证器误判时的鲁棒性。

其次是 MILP 的可扩展性。每种子求解一个 MILP，在百万级种子下可能成为瓶颈。摘要未给出求解时间数据。

第三个开放问题是前沿定义的敏感性。目标学习前沿如何设定、是固定阈值还是动态调整，摘要未说明，这可能是复现时最大的不确定性。

最后是合成 token 消耗的公平性。摘要强调各方法 token 消耗接近，但未明确固定配方基线是否也经过同样的金验证过滤。若没有，性能差距可能部分来自验证过滤，而非动态决策。