Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents

一句话概括

Doc2Harness 是首个直接评测「长时程 harness 工程」的两阶段基准。最强模型 GPT-6 Astra 通过率仅 53.05%，说明 harness 工程远未解决。

速览

• 任务：让模型在固定 builder harness 内，依据接口契约骨架与开发文档，从零构建完整候选 harness。
• 方法：两阶段设计，Stage 1 构建、Stage 2 在隔离容器中用脚本化 mock 模型端到端驱动冻结的候选 harness。
• 关键数字：19 个前沿模型、每个 3 次独立构建、328 个测试用例；最高通过率 53.05%，最低 27.44%。
• 数据与开源：摘要未给出。

问题背景

大语言模型（Large Language Model, LLM）智能体（agent）正被部署到长时程任务上。它们调用工具，并直接改动真实工作区。

这类任务的表现，既取决于模型本身，也取决于模型外层的 harness。harness 指包裹模型的工程脚手架：它负责组织上下文、调度工具、管理文件与进程。

但现有基准（benchmark）大多在固定 harness 下测量下游任务成功率。harness 工程本身因此没有被直接考察。

换句话说，我们一直在测「模型在给定脚手架里能做什么」，却没测「模型能不能把脚手架造出来」。

方法要点

作者提出 Doc2Harness，一个两阶段基准，直接评测长时程 harness 工程。

• Stage 1（构建）：一个 build model 在固定的 builder harness 内工作。它拿到一份仅含接口的契约骨架，以及一份开发文档。该文档整合了 12 个前沿 harness 的行为。模型随后在隔离容器中构建出完整的候选 harness。
• Stage 2（评测）：候选 harness 被冻结，运行在与构建环境分离的容器中，每个测试用例一个容器。它由脚本化的 mock 模型端到端驱动。
• 评分：每个测试用例通过 4 个可观测通道打分——发给模型的请求、磁盘上的文件、进程退出码、命令输出。
• 防伪：设置正向对照（positive control），排除空洞通过。

两阶段分离是关键设计：构建环境与评测环境隔离，避免模型在评测时「顺手修补」。

关键结论

作者在 19 个前沿模型上做了评测。每个模型独立构建 3 次，共 328 个测试用例。

• GPT-6 Astra 通过率最高，为 53.05%。
• 最弱模型通过率为 27.44%。
• 两者差距约 26 个百分点。
• 即便最强模型，也有近一半测试用例失败。

失败并非均匀分布。它们集中在「横切功能如何拆分到各模块」这一环节。也就是说，模型能写出局部正确的模块，却难以把跨模块的职责切分清楚。

作者称，Doc2Harness 是首个确定性（deterministic）测量长时程 harness 工程的基准。

读后思考

这个基准把评测对象从「任务结果」上移到「工程能力」，方向值得注意。

• 它测的是元能力：不是解题，而是造出能解题的系统。
• 两阶段隔离加 mock 模型，让评测可复现，减少模型「临场发挥」的干扰。
• 4 通道打分加正向对照，设计上在防「假通过」。
• 53.05% 这个数字提示：harness 工程可能是当前智能体落地的真实瓶颈。

对工程实践的启示是：与其只换更强的模型，不如同时关注脚手架的设计与拆分。

局限与开放问题

• 摘要未给出数据集规模、开源情况与具体任务领域。
• 开发文档整合了 12 个前沿 harness 的行为，但摘要未说明其覆盖面与偏置。
• 评测用脚本化 mock 模型驱动，与真实模型交互的差异，摘要未给出。
• 失败集中在跨模块拆分，但摘要未给出对应的改进方法。
• 是否可用同一基准指导 harness 自动优化，摘要未给出。
• 19 个模型、3 次构建的方差与稳定性，摘要未给出。