Beyond Accuracy: Robustness, Cost, and Governance Trade-offs for Vision-Language Models in Templated Document Extraction

一句话概括

在模板化文档字段抽取上，微调后的开源视觉语言模型可以超过零样本商业系统。论文主张选型不能只看准确率，还要看鲁棒性、成本与治理。

企业文档处理中，结构化字段抽取是高频任务。例如从支票、表单、发票中读出日期、金额、账号。

视觉语言模型（Vision-Language Model, VLM）能同时看图像与文本。它正被越来越多地用于这类场景。

但作者指出，现有评测大多只在干净基准上报告准确率。它们缺少对真实部署维度的系统测量。

这些维度包括四点。不同任务复杂度下模型是否稳定；延迟是否可接受；数据与合规治理是否达标；规模化调用成本是否可控。

结果是工程团队选型时只能凭经验或厂商宣传。他们缺少可复现、可比较的证据。论文用一套测量驱动的研究来填补这个空白。

论文的核心是一个受控横向评测，加一个选型框架。

评测对象覆盖 11 类系统。其中包括 3 类商业系统、2 类推理型模型、5 个开源 VLM，以及 1 个非 LLM 的 OCR→正则表达式基线。

5 个开源 VLM 分别以预训练和微调形式出现。OCR→正则基线作为地板纳入比较。

评测数据是 750 份文档的留出池，文档为合成支票。任务被模板化、字段相对固定，便于控制变量。但这也限定了结论的外部有效性。

关键变量之一是微调。作者用 3K 样本对开源 VLM 做微调，观察其相对零样本商业系统的表现。另一个变量是模型类型与提示、推理方式。

在测量之外，论文提出一个面向实践者的选择框架。它把任务画像拆成 4 个维度：质量、延迟、治理、规模（volume）。

框架先用这些条件过滤候选方案。例如治理不达标直接排除。再在通过过滤的方案中做总成本最小化，给出推荐方案。论文用一个假设的中等规模文档抽取场景演示该框架。

第一，微调能显著改变开源模型的竞争力。在 3K 样本上微调后，最好的开源 VLM 在该任务上 F1 超过 0.98。它高于所有零样本商业系统。

这说明在这类模板化、字段固定的抽取任务上，开源加小规模微调可以成为有竞争力的路线。

第二，商业系统内部差异明显。GPT-5 在商业池中 F1 领先。Claude Sonnet 4.5 在 Date 字段上崩溃。

摘要没有给出具体 F1 数值。它也没有说明崩溃的具体表现，是格式错误、漏抽还是幻觉。该现象是否在其他字段或数据集上复现，同样「摘要未给出」。

第三，非 LLM 的 OCR→正则基线被作为地板纳入比较。但摘要没有报告它的具体得分。因此无法判断它与各 VLM 的差距，这一点「摘要未给出」。

第四，选型不能只看准确率。框架把治理与成本纳入决策。这意味着某些场景下即使某模型准确率最高，也可能因延迟、合规或规模化成本被过滤掉。框架中各维度的具体权重或成本参数「摘要未给出」。

这篇论文的价值不在于哪个模型最强的排行榜。它的价值在于把评测维度从单一准确率扩展到部署现实。

对工程团队来说，最直接的启发有两点。在模板化文档抽取任务上，先评估开源模型加少量标注微调是否够用。再考虑商业 API。

同时把治理与成本作为一等约束，而不是事后补丁。

适用场景主要是字段位置相对固定、模板变化有限的业务文档。例如支票、标准表单、固定版式发票。这类任务中，微调能有效对齐字段语义与输出格式。OCR→正则也可能在极稳定模板下仍有性价比。

相反，如果文档版式高度多样、字段语义依赖上下文推理，论文的结论能否迁移需要额外验证。

选型框架本身也有实用价值。它把质量、延迟、治理、规模显式化。这迫使团队在采购或自研前先写清约束，再用总成本做决策，而不是被单点指标牵着走。

最明显的局限是数据。750 份合成支票、模板化任务，与真实企业文档的噪声、版式漂移、手写、扫描质量差异较大。摘要没有说明合成数据的生成方式与多样性控制，因此外部有效性存疑。

其次是评测范围。11 类系统虽广，但摘要只点出了 GPT-5 与 Claude Sonnet 4.5 两个商业模型的具体表现。其余系统的分数、推理模型的增益、OCR→正则基线的水平均未给出，无法做完整横向比较。

第三，微调只用了 3K 样本。摘要未说明这 3K 是否来自同一分布、是否覆盖边界情况。它也未报告微调成本与推理成本的变化。选型框架中的总成本如何量化、治理维度如何操作化，摘要同样未给出。

开放问题包括三点。在真实、非模板化文档上，微调开源模型相对商业系统的优势是否保持。Date 字段上的崩溃是模型特例还是字段类型特例。当治理约束与准确率冲突时，框架给出的推荐是否与人类专家判断一致。这些都需要论文正文或后续工作来回答。