Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents

一句话概括

决策模型当不好行动者，仍可能当好老师：完整轨迹的事后评判能揭示行动时必须预判的后果，从而有效指导强化学习。

速览

• 任务：比较 3 个决策模型与 3 个通用大语言模型（LLM）在长程智能体（long-horizon agent）中作为行动者（actor）与评判者（judge）的表现。
• 关键数字：JEV 作为教师（teacher），把 Qwen2.5-1.5B 策略在 GRPO 下的成功率从 72.8% 提到 82.9%（ALFWorld），从 56.8% 提到 71.4%（WebShop）。
• 数据与开源：实验用 ALFWorld 与 WebShop；代码已开源于 GitHub（ZJU-REAL/decision-agents）。
• 摘要未给出：模型规模、训练成本、评判者与行动者差距的量化指标。

问题背景

决策模型（decision model）以带类型的输出回答问题，例如给出各选项的概率分布。因此同一模型可承担 3 种角色：选择智能体动作、评估已执行动作、为强化学习给每个动作打分以教策略。既有研究多把决策模型当行动者，用「会不会做」衡量其价值。论文提出另一问题：行动表现差的决策模型，是否仍能教得好？

方法要点

• 角色对照：把 3 个决策模型与 3 个通用 LLM 同时作为行动者与评判者，在 ALFWorld 上比较。
• 教师实验：以 JEV 为教师，在 ALFWorld 与 WebShop 上用强化学习训练 Qwen2.5-1.5B 策略，基线为 GRPO。
• 评判设计：评判者可见完整轨迹，并被要求判断「每个动作是否有帮助」，而非预测「任务能否成功」。

关键结论

• 作为行动者，6 个模型都被更容易的邻近目标拉离必须先完成的子目标（subgoal）。
• 作为评判者，同样这些模型能认可通向该子目标的步骤。
• 提问方式决定评判质量：问「动作是否有帮助」比问「任务是否成功」更能区分有用与无用动作。
• 作为教师，JEV 在两个环境上都提升了 GRPO 的成功率，说明差行动者也能教得好。

读后思考

论文把「行动」与「评判」拆成两种能力，提示评测决策模型不能只看任务成功率。事后评判能看到动作的真实后果，而行动时必须预判这些后果，这正是教师信号的价值来源。对工程实践的启示是：选教师模型时，应测其评判能力，而非只看它自己会不会做。

局限与开放问题

• 摘要只覆盖 ALFWorld 与 WebShop 两个环境，其他长程任务是否成立，摘要未给出。
• 教师实验只报告了 JEV 一个模型，其他决策模型作教师的效果，摘要未给出。
• 「动作是否有帮助」的提问为何更有效，缺少机制层面的解释。
• 评判者与行动者能力差距的量化关系，仍是开放问题。