SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness

一句话概括

SoL-Pi 把自动研究循环递归扩展到大量多样环境，筛出四个可迁移的智能体外壳机制。在 EdgeBench 的 51 个任务上，它表现与 Pi 相当，记录 token 流量降低 44.7%–49.0%，API 成本降低约三分之一。

任务与方法：在 harness 层做受递归自我改进（RSI）启发的自动研究。跨越来越多、越来越多样的环境反复运行 harness rollout，以「能否迁移出开发环境」为筛选标准。
关键数字：EdgeBench 51 个任务上，表现与 Pi 相当。记录 token 流量下降 44.7%–49.0%，API 成本下降约三分之一。
成本估计：相对原生 Codex 与 Claude Code harness，每小时省 $8.75–$13.50。相对 Pi，每小时省 $4.36–$5.71。
数据与开源：摘要未给出。

论文关注的对象不是模型本身，而是包裹模型的「外壳」。这层工程逻辑负责组织推理、调用工具、处理反馈、管理上下文。

作者指出，编码智能体正在转向「无人值守、全天候的自主探索」。这带来两个后果：

每一轮循环里浪费的 token 都会被递归放大。所以 token 效率不只是省钱问题，而是这类循环能否持续扩展的前提。

论文的切入点是：与其只优化模型，不如把外壳本身当作可被自动搜索和优化的对象。

论文采用受 RSI 启发的思路，但把尺度放在 harness 层。做法是让自动研究循环在数量与种类都不断增加的环境中反复运行 harness rollout。筛选标准是「能否在开发环境之外迁移」。

作者强调，在这种规模下，过程会产生可复用的改进。它不只是针对单一场景的过拟合技巧。

经过选择后，四个机制存活下来，构成 SoL-Pi：

四者指向同一目标：在保持任务表现的前提下，减少无效的 token 往返。摘要未给出每个机制的具体实现细节与消融数据。因此无法判断各自的贡献占比。

在 51 个任务的 EdgeBench 评测上，SoL-Pi 的表现与 Pi 相当。对比分别在 GPT-5.6 Sol 与 Opus 5 上进行。同时：

需要说明几点。摘要只给出「表现相当」（comparable），未给出具体分数或统计显著性。「每小时节省」是估计值，其计算口径摘要未给出。EdgeBench 的任务构成、评测协议、基线配置，以及四个机制各自的消融结果，摘要均未给出。

这篇工作的价值主张不在「更聪明的模型」，而在「更省的外壳」。如果结论成立，它意味着 harness 层的优化空间可能被长期低估。同样的模型、同样的任务，仅靠重组动作执行、上下文压缩、观测处理与阅读委派，就能砍掉近一半 token 流量。

对于需要长时间自主运行、按 token 计费的生产场景，这类改进的边际收益会随运行时长放大。例如持续集成中的自动修复、长周期代码库维护、无人值守的探索型智能体。

另一个值得注意的点是「可迁移性」作为筛选标准。自动搜索容易产出只对特定环境有效的补丁。作者把「在开发环境之外仍然有效」当作选择压力，这更接近工程上真正需要的泛化。这也解释了为什么最终只留下四个机制：能被保留的，是那些跨环境反复被验证的通用结构。

首先，摘要中所有效率数字都来自 EdgeBench 这一单一评测集，且仅覆盖 51 个任务。它在其他任务分布、其他模型、其他工具生态下是否同样成立，摘要未给出。

其次，「表现相当」缺乏量化定义。是持平、略降还是略升，无法从摘要判断。这直接关系到效率提升是否以能力为代价。

第三，成本节省是估计值，依赖具体的定价与调用模式假设。实际部署中的节省幅度可能不同。

更根本的开放问题是：这四个机制是 harness 优化的终点，还是当前搜索规模下的阶段性产物？如果继续扩大环境数量与多样性，是否会出现新的、可迁移的机制？这些机制是否会反过来改变我们对「外壳应该做什么」的理解？

此外，论文把 RSI 的思路用在 harness 层。但 harness 的改进本身是否也能被递归地用于改进搜索过程，摘要未给出线索。token 效率与任务成功率之间的权衡曲线如何，长轨迹后期压缩上下文是否会损失关键信息，都需要正文实验来回答。