Agentic-OPD: Recovering Forgotten Agent Capabilities via On-Policy Distillation for Agentic Tasks

一句话概括

GRPO 训练中被丢弃的中间检查点其实是一批免费教师。Agentic-OPD 用在线策略蒸馏（OPD）从这些检查点中找回最佳检查点丢失的能力，最多提升 7.4 分。

速览

• 任务：面向智能体任务的大模型训练后能力恢复，即从同一次强化学习（Reinforcement Learning, RL）运行的中间检查点中回收已遗忘能力。
• 方法：把最佳验证检查点当作学生，把全部已保存检查点当作冻结教师候选，用 HCN 选教师、LAD 过滤监督信号。
• 关键数字：在 5 个智能体任务域、24 个基准与任务子集上，较初始化检查点最多提升 7.4 分；4B 学生在深度搜索上超过 GPT-5.6 与 DeepSeek-V4.1。
• 数据与开源：摘要未给出。

问题背景

主流做法是在智能体任务上用强化学习训练大语言模型（Large Language Model, LLM）。标准流程只保留验证集上最好的检查点，其余全部丢弃。

作者指出这一做法有损。在 GRPO 训练中，最佳验证检查点会在某些问题上失败，而同一轮训练的早期检查点已经解出过这些问题。跨检查点的问题解集并集，远大于任何单个检查点。

这意味着被丢弃的检查点构成一个教师池，获取它不需要额外训练成本。在线策略蒸馏（On-Policy Distillation, OPD）可以从中挖掘，找回丢失的覆盖范围。

方法要点

挖掘教师池有两个难点。

• 选哪个检查点：没有检查点全面占优，它与学生的互补性因问题而异。
• 在哪里信任它：即使选对了教师，它也只是局部更优；不加区分地蒸馏会覆盖学生已掌握的行为。

Agentic-OPD 的应对是把最佳验证检查点作为学生，全部已保存检查点作为冻结教师候选，用学生不断变化的能力缺口同时指导教师选择与监督过滤。

• HCN 策略（Highest Coverage Next）：按教师对学生未解问题的加权覆盖率，动态选择教师。
• LAD 模块（Locality-Aware Distillation）：把迁移限制在学生失败的 rollout 上，且仅限教师表现更好的问题。

关键结论

• 最佳验证检查点并非能力上界：同一轮训练中更早的检查点能解出它解不出的问题。
• 检查点之间互补，任何单个检查点都不占优，因此教师选择必须动态、按问题定制。
• 蒸馏需要局部化：只在学生失败且教师更强的位置施加监督，避免覆盖已掌握行为。
• 在 5 个智能体任务域、24 个基准与任务子集上，方法较初始化检查点最多提升 7.4 分。
• 4B 学生在深度搜索任务上超过 GPT-5.6 与 DeepSeek-V4.1。
• 作者把一次已完成的 RL 运行重新视为可复用的策略池，并将训练后能力恢复确立为与 RL 算法改进正交的阶段。

读后思考

这篇论文的视角转换值得注意。通常我们把 RL 训练看成一条收敛曲线，只关心终点。作者把整条曲线上的检查点当作资产，让「训练历史」本身成为可挖掘的监督来源。

这与模型合并、检查点平均等思路有相通之处，但 Agentic-OPD 不直接合并权重，而是用蒸馏做按问题的选择性迁移。HCN 与 LAD 分别回答「向谁学」和「在哪学」，两者都由学生当前的能力缺口驱动，形成随训练演化的闭环。

另一个启发是评价方式的改变。若跨检查点解集并集远大于单点，那么单检查点报告可能系统性低估了一次 RL 运行的真实能力上限。

局限与开放问题

• 教师池依赖训练中保存检查点的密度与策略；保存间隔如何影响恢复上限，摘要未给出。
• HCN 的加权覆盖率与 LAD 的「教师更好」判据都需要可靠的问题级评估，评估噪声的影响摘要未给出。
• 实验覆盖 5 个任务域，方法在更长训练、更大模型上的可扩展性摘要未给出。
• 蒸馏带来的额外推理与评估开销，摘要未给出。
• 能力恢复与继续 RL 训练能否叠加、如何叠加，是自然的后续问题。