Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
一句话概括
Tev 用「先建潜世界、再渲染环境」的方式造出可验证的长程智能体训练数据，并用进度势能奖励塑形把稀疏奖励变稠密，训练出的 Tev-27B 在 ALE-CM 上追平 GPT-6 Astra 与 Claude Opus 5。
速览
- 任务：长程智能体（long-horizon agent）训练数据与训练配方，覆盖 7 个领域。
- 方法：Tev-Gym 数据集 + 进度势能奖励塑形（PPRS），产出 Tev-27B。
- 关键数字：1,170 个已验证任务环境；ALE-CM 的 Pass@5 追平 GPT-6 Astra 与 Claude Opus 5。
- 数据与开源：摘要未给出。
问题背景
长程智能体能自主工作数小时到数天，处理有经济价值的任务。这种能力是自动发现与递归自我改进（recursive self-improvement, RSI）的基础。
但开源模型在长程任务上仍表现不佳。摘要把原因归为两点：缺少训练数据，也缺少可用的训练配方。
把两者同时做大很难。长而复杂的任务难以筛选与验证，而且它们的奖励是稀疏的。
方法要点
作者分两步解决数据与配方问题。
第一步是 Tev-Gym。摘要称它是首个带可验证、稠密、渐进奖励的长程智能体训练数据集，含 7 个领域的 1,170 个已验证任务环境。
它的构建走「潜世界优先（latent-world-first）」路线：
- 先构造潜世界（latent world），即对任务领域、工作流、每一步之后期望状态的完整且正确的隐藏规格。
- 再把每个任务从这个规格逐步渲染成面向智能体的环境。
- 这样带来可控的复杂度，也带来一个自然的进度度量。
第二步是把该度量变成训练配方。作者提出进度势能奖励塑形（progress-potential reward shaping, PPRS），把进度转成每步的稠密奖励。
摘要称该配方提升训练效率，并让原本难以训练的任务变得可训练。
关键结论
- 用该配方训练得到 Tev-27B。
- 在 Agents' Last Exam 的计算与数学科学领域（ALE-CM）上，Tev-27B 取得明显提升，Pass@5 追平 GPT-6 Astra 与 Claude Opus 5。
- 它只训练了 ALE 相关数据，却能泛化到 Terminal-Bench（TB）3.0 与 4.0 子集，超过 GLM 5.2 与 Gemini 3.7 Flash。
- 在 TB 2.1 这类中等长度任务上，它达到 Claude Opus 4.8 级别的表现。
读后思考
这篇工作的核心不是模型结构，而是数据生成范式。先写隐藏规格、再渲染环境，等于把「任务正确性」前移到规格层，验证因此变便宜。
进度度量是这套范式的副产品。规格里本来就记录了每步期望状态，进度不必额外标注，直接可算。PPRS 则把这个度量接进强化学习，缓解长程任务奖励稀疏的老问题。
值得注意的是泛化结果。只在 ALE 相关数据上训练，却迁移到 TB 3.0/4.0 与 TB 2.1，说明稠密进度奖励可能教会了模型某种跨任务的过程性能力，而不只是记住特定环境。
局限与开放问题
- 摘要未给出 Tev-Gym 的开源方式、许可证与数据获取途径。
- 摘要未给出 Tev-27B 的基座模型、参数量细节与训练算力。
- 摘要未给出 PPRS 的具体数学形式与超参数。
- 摘要未给出与基线对比的绝对分数，只给了「追平」「超过」这类相对表述。
- 潜世界规格由谁编写、如何保证正确，摘要未给出。
- 1,170 个环境覆盖 7 个领域，各领域分布是否均衡，摘要未给出。
- 长程任务从数小时到数天，评测是否覆盖这一跨度，摘要未给出。