Evolving Agent Interfaces

一句话概括

让智能体自己设计并进化操作界面，比手工设计界面更能提升电脑使用任务的成功率。作者提出 Agent S4，在 OSWorld V2 上以 21.3% 的二元得分刷新开源电脑使用智能体纪录。

速览

• 任务：让元智能体（meta-agent）从任务轨迹中自动构建并修订界面与使用知识，形成「进化型智能体界面（Evolving Agent Interfaces）」。
• 方法：元智能体分析无成功标签的合成训练轨迹，再用基于种群的进化（population-based evolution）按验证集表现筛选界面仓库。
• 关键数字：OSWorld V2 上 21.3% 二元得分，为同模型固定界面的 3.8 倍；ScienceBoard 上成功率从 41.4% 升至 58.6%。
• 开源：代码已开源于 github.com/simular-ai/agent-s；训练数据规模与算力开销摘要未给出。

问题背景

电脑使用智能体（computer-use agent）的能力受人所给界面限制。智能体可能逐格敲入电子表格，而一行代码即可完成；也可能为找一个函数打印整个两千行文件。

界面本身，以及「何时用哪种界面」的知识，都由人工构建。这种手工方式跟不上新应用、新工作流与新模型的涌现速度。

作者据此提出一个立场：界面设计应当成为智能体自身的一项能力，而非外部预先给定的固定条件。

方法要点

• 元智能体观察任务智能体在合成训练任务上的轨迹，不依赖成功标签，从中提炼界面与使用知识。
• 提炼结果写入「界面仓库（repository）」，并持续构建与修订，形成可积累的资产。
• 采用基于种群的进化：多个仓库并行发展，按在验证任务上的表现决定谁继续演化。
• 验证任务是元智能体从未见过的，因此筛选偏向可泛化的改动，而非对已见任务的过拟合。
• 部署时，任务智能体搭配进化出的界面仓库使用；论文以 Qwen3.8-27B 为底座模型验证效果。

关键结论

OSWorld V2 上，Agent S4 配合进化仓库取得 21.3% 二元得分，是同一模型使用固定界面时的 3.8 倍。

该成绩高于 GPT-5.5 的 13.0% 与 Claude Opus 4.8 的 20.6%，成本分别约为二者的 4.3% 与 1.5%。

ScienceBoard 上，同一模型仅因界面进化，成功率从 41.4% 提升到 58.6%。

作者结论：有用界面可从经验中进化而来，自主界面设计是与模型、执行框架（harness）进步互补的改进来源。

读后思考

这篇论文把「工具」从静态前提变成可学习对象。以往提升智能体靠换更强模型或改提示与执行框架，这里多出一条正交路径：让智能体自己发明更省力的操作方式。

值得注意的是，进化信号来自验证任务表现而非训练标签。这让筛选机制天然偏向泛化，也解释了为何进化界面能迁移到 ScienceBoard 这类不同基准。

另一个启发是成本结构。界面进化把一部分能力从「更大模型」转移到「更好的操作知识」，因而在低成本模型上也能取得有竞争力的分数。

局限与开放问题

• 摘要只给出 2 个基准的结果，跨应用、跨操作系统的泛化性摘要未给出。
• 进化过程的算力与时间开销、仓库规模上限，摘要未给出。
• 无成功标签的轨迹分析如何避免学到错误习惯，摘要未给出机制细节。
• 界面仓库是否会随模型换代而失效、能否跨模型复用，摘要未给出。
• 与 GPT-5.5、Claude Opus 4.8 的对比未说明对方是否使用同等工具与执行框架，公平性有待正文核实。