Rethinking Inference-Time Scaling in Local Computer-Use Agents: Failure Modes and Compute Tradeoffs
一句话概括
本地计算机使用智能体（Computer-Use Agents, CUAs）的推理时扩展（inference-time scaling）收益递减，还会改变失败模式。本地模型需要的不是更多计算，而是选择性计算。
速览
- 任务：系统实证研究本地 CUA 的推理时扩展，覆盖上下文、时间、结构、并行 4 个维度。
- 模型与基准：Qwen3-VL-8B/30B-A3B、UI-TARS-1.5-7B、OpenCUA-7B，在 OSWorld 上评测。
- 关键数字：摘要未给出。
- 数据与开源情况：摘要未给出。
问题背景
本地部署 CUA 的价值在上升，原因有 3 点：隐私、成本效率、实用可用性。但硬件约束严格，性能提升仍困难。
近期研究显示，推理时扩展能提升前沿 CUA：执行期间投入额外计算即可。云端前沿模型因此受益明显。
资源受限的本地模型能否同样受益？这个问题尚未被系统回答。现有研究多聚焦云端大模型，对本地模型关注不足。
本文填补这一空白。它不只问扩展有没有用，还追问扩展在哪些维度有效、哪些无效、以及为什么。
方法要点
研究者搭建了一个系统性实证框架，从 4 个维度考察推理时扩展：
- 上下文扩展（contextual）：提供历史操作记录或环境信息，帮助模型理解当前状态。
- 时间扩展（temporal）：增加最大执行步数（max-step），允许更长的尝试。
- 结构扩展（structural）：把任务分解为子任务，采用两阶段（先规划后执行）架构。
- 并行扩展（parallel）：同时运行多条候选轨迹，从中选择最优结果。
评估对象为 4 个本地模型配置：Qwen3-VL-8B、Qwen3-VL-30B-A3B、UI-TARS-1.5-7B、OpenCUA-7B。统一在 OSWorld 基准上评测，该基准模拟真实桌面操作环境。
关键设计在于：不只测任务成功率，还追踪失败模式的转变。计算量增加时，模型犯错的方式如何变化，是本文区别于一般消融实验的核心亮点。
关键结论
- 上下文扩展最有效，但有天花板。历史信息能提升轨迹稳定性与任务准确率，收益随 token 成本增加而饱和。失败模式从重复循环或停滞，转向过早的假成功（premature false successes）。
- 时间扩展几乎无效。增加最大步数能减少卡在最大步数的情况，但未实质提升任务成功率。更长的时间往往只是延长错误轨迹，而非纠正它们。
- 结构分解有副作用。在本地两阶段智能体中，任务分解引入额外的规划与格式开销，可能得不偿失。摘要未给出具体性能数字。
- 并行扩展是笨办法。多轨迹并行能部分缓解上述失败，但计算成本大幅增加，效率存疑。
- 总体判断：高效本地 CUA 需要选择性计算分配、失败感知的控制机制，以及围绕本地模型能力边界设计的智能体框架。
读后思考
对开发本地 AI 助手的人：不要盲目堆算力。先判断任务类型。多步骤表单填写这类需要历史上下文的任务，值得投入上下文扩展；点击按钮这类单步操作，增加计算纯属浪费。
对设计智能体框架的人：结构分解不是万能的。对本地小模型，复杂规划层可能反成瓶颈。更务实的做法是让模型边做边想，而非先想后做。
对关心成本控制的人：并行扩展有效，但开销大。更优策略是设计失败检测器，在模型陷入循环或产生假成功时及时干预，而不是让它继续烧算力。
对研究者：失败模式分析提供了新视角。评估推理时扩展时，不应只看成功率曲线，还要看错误类型的分布变化。这比单一指标更能揭示模型的真实行为。
局限与开放问题
摘要未给出具体实验数字，以下局限基于方法逻辑推断。
- 模型范围有限。仅覆盖 3 个模型家族、4 个具体配置，且都是视觉-语言模型。纯文本驱动的智能体、更大规模的本地模型（如 70B 量化版）是否适用，未知。
- 基准单一。OSWorld 虽标准化，但真实桌面环境更复杂，如多显示器、非标准 UI、网络延迟。真实场景中扩展效果可能不同。
- 假成功的判定标准不明。摘要提到失败模式转向过早的假成功，但如何客观判定假成功？这依赖基准的评估粒度，可能低估模型的真实能力。
- 未涉及自适应策略。论文指出需要选择性计算分配，但未提出具体实现方案。智能体如何自主判断何时该扩展、何时该停止？这是关键开放问题。
- 计算成本度量粗粒度。摘要用 token 成本和计算成本描述开销，未区分推理延迟、内存占用、能耗等维度。实际部署中这些指标的重要性各不相同。
总体而言，这篇论文的价值在于打破一个隐含假设：推理时扩展对本地模型同样有效。它用实证表明，本地模型需要的不是更多计算，而是更聪明的计算。这为未来本地智能体的设计指明了新方向。