OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory

一句话概括

OpenVLHarness 用「能力层 + 持久多模态记忆」把异构工具输出转成模型可读证据，在 22 个基准上平均提升 9.7–12.6 分。

任务：为多模态大模型（MLLM）提供真实世界视觉工具调用与跨步证据复用能力。
方法：能力层负责工具接口与证据渲染，持久多模态记忆保存图像、结构化数据与网页引用。
关键数字：8 个开源与闭源骨干模型，平均提升 9.7–12.6 分；GPT-6 Luna 中等推理强度下超过基线最高强度 7.7–8.5 分，模型 token 成本至多为其 37%。
数据与开源：摘要未给出。

多模态大模型在视觉推理上进展快，但很多任务所需证据无法靠内部推理获得。

作者做了覆盖 22 个基准的对照研究：单纯加大基座模型的推理预算，收益有限。

这类任务需要三类外部证据：有依据的感知、外部知识、数值测量。它们来自异构工具。

难点有两处。其一，工具输出格式各异，模型难以直接读懂。其二，证据要在多步推理间保留下来，供后续步骤调用。

OpenVLHarness 由两部分组成：能力层与持久多模态记忆。

能力层提供任务级工具接口，并做证据渲染（evidence rendering）。它统一接入异构后端，把输出转成模型可读的观察结果。

持久多模态记忆把对应的图像、结构化数据和网页引用存为可寻址工件（addressable artifact），在一次查询内全程保留。

系统还提供编码接口，在已存数据上执行生成的程序。这样可把多个工具的结果组合起来做计算。

三者配合，形成「获取—检查—组合」多模态证据的迭代流程。

在 22 个基准、8 个骨干模型上，OpenVLHarness 相对匹配的无工具基线平均提升 9.7–12.6 分。

分模型看：Qwen3-VL-8B 提升 11.2 分，Kimi K3 提升 9.7 分，GPT-6 Astra 提升 9.9 分。

效率方面，GPT-6 Luna 在中等推理强度下使用本方法，超过基座模型、Codex 与 Visual Sketchpad 在最高强度下的表现 7.7–8.5 分。

同时，其模型 token 成本至多为上述对比方案的 37%。

这篇工作的核心主张不是「换更强的模型」，而是「换证据获取方式」。加大推理预算收益有限这一对照结果，为工具与记忆的设计提供了动机。

把工具输出渲染成模型可读观察，是容易被低估的一环。异构后端的差异被吸收在能力层，模型侧接口保持稳定。

持久记忆与编码接口的组合值得注意。它让跨工具数值组合成为可能，而不只是单次调用。

效率结论也有意义：中等推理强度加外部证据，可能优于最高强度纯内部推理。

摘要未给出具体基准名单与任务类型分布，难以判断提升来自哪些能力。

摘要未给出工具集合、后端数量与调用失败的处理方式。

记忆的容量上限、长查询下的检索策略，摘要未给出。

37% token 成本对应的绝对成本与延迟，摘要未给出。

开源情况与复现细节，摘要未给出。