SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models

一句话概括

现有空间推理基准只测“看得见”的感知，SpaceCast-Bench 首次直接评测“预测看不见的结果”这一能力。21 个模型在该基准上远落后于人类，最强模型仅 58.0%，人类为 87.2%。

速览

• 任务：在观察—变换—推断（observe-transform-infer）框架下评测视觉语言模型（Vision-Language Model, VLM）的预测性空间推理。
• 规模：3,862 道题，来自 182 个真实场景，覆盖 16 种任务类型、3 个层级。
• 关键数字：最强模型 58.0%，人类 87.2%；空间专用模型接近随机水平。
• 数据与开源：摘要提到可用程序化生成数据做微调，但未说明基准与代码是否公开，摘要未给出。

问题背景

• 已有空间推理基准主要测空间感知（spatial perception）：读出输入中已经可见的关系。
• 但真实世界的空间智能要求预测性空间推理（predictive spatial reasoning）。
• 它包含三步：从观察中构建场景、预判干预如何改变场景、对未观察到的结果做推理。
• 这类能力此前缺少直接、可诊断的评测工具。

方法要点

• 提出 SpaceCast-Bench，作者称其为首个直接诊断该能力的基准。
• 核心是观察—变换—推断框架：先给观察，再施加变换，最后要求推断结果。
• 题目分 3 个层级，难度递进：
  1. 静态感知（static perception）：理解当前场景。
  2. 局部预测（local prediction）：更新空间状态。
  3. 全局预测（global prediction）：对未观察结果做关系推理。
• 共 16 种任务类型，覆盖 182 个真实场景，合计 3,862 题。
• 评测 21 个模型，并做受控分析，考察桥接视图（bridge view）、显式 3D 证据、生成式结果图像或视频的作用。
• 另用程序化生成数据做微调实验。

关键结论

• 模型与人类差距明显：最强模型 58.0%，人类 87.2%。
• 空间专用模型表现接近随机猜测，说明专用性未转化为预测能力。
• 桥接视图对整合分散观察很关键。
• 显式 3D 证据比生成的结果图像或视频更稳定地帮助模型。
• 在程序化生成数据上微调，把 Qwen3-VL-4B 从 34.0% 提升到 65.7%。
• 该微调在 6 个域外基准上取得宏平均（macro-average）提升。

读后思考

• 基准把“感知”和“预测”拆开，评测目标更接近真实空间智能。
• 三层级设计让失败位置可定位：是看不懂场景，还是不会更新状态，还是推不出未见结果。
• 桥接视图与 3D 证据的结论指向一个方向：模型缺的是跨视角整合，而非单纯缺数据量。
• 生成式图像或视频不如显式 3D 证据，提示“生成得更像”不等于“推理得更准”。
• 微调提升幅度大，说明该能力可能被数据与训练方式显著影响，而非纯规模问题。

局限与开放问题

• 摘要未给出基准与代码的开源情况。
• 摘要未给出各层级、各任务类型的分项得分。
• 摘要未说明 21 个模型的具体名单与规模分布。
• 摘要未给出人类评测者的数量与标注一致性。
• 桥接视图与 3D 证据的受控分析细节，摘要未给出。
• 微调数据的规模与构造方式，摘要未给出。
• 域外提升是否在预测性任务上同样成立，摘要未给出。