S-Space: Exploring Spatial Workspace in Multimodal Language Models
一句话概括
多模态语言模型内部存在一个线性子空间 S-Space，它像一块「空间工作区」，用连续坐标编码物体位置，并支撑空间判断。模型的主要瓶颈不在感知，而在视角变换所需的计算。
速览
- 任务：探究多模态语言模型（Multimodal Language Model, MLLM）空间推理的内部机制，并定位其失败原因。
- 方法：对物体 token 激活求空间答案分数的导数，识别水平、垂直、距离三条坐标轴。
- 关键发现：S-Space 是模型内在结构，非特定数据或提示诱导；因果干预可改变空间判断，同时基本保留非空间回答。
- 数据与开源情况：摘要未给出。
问题背景
多模态语言模型在空间推理上表现不错，但内部机制不清楚。
已有研究多停留在行为层面：看模型答对多少题，却少有人打开「黑箱」，追问位置信息在模型内部以什么形式存在。
这带来两个缺口：
- 模型是否真的形成了可读的位置表征，还是靠语言先验猜答案？
- 当模型在视角变化类问题上出错时，问题出在感知还是计算？
作者要回答的正是这两点，并顺带把内部表征变成诊断工具。
方法要点
作者的核心手段是求导定位。
- 对物体 token 的激活求空间答案分数的导数，找出对空间判断最敏感的线性方向。
- 这些方向张成一个子空间，即 S-Space，对应水平、垂直、距离三条轴。
- 子空间内的坐标是连续的，可视为物体位置的内部读数。
作者用三类证据说明 S-Space 是「工作区」而非数据产物：
- 内在性：在非空间问题上，S-Space 仍可读出，说明它不依赖特定提示。
- 因果性：干预 S-Space 会改变空间判断，但非空间回答大体不变。
- 功能性：感知把物体位置写入其中，内部推理按视角变化改写它，语言输出则有选择地读取它。
此外，作者把 S-Space 当作诊断工具，用方向词读数检查参考系，并用「感知—计算」分解定位瓶颈。
关键结论
- S-Space 是线性子空间，物体 token 在其中编码连续坐标。
- 它是模型固有结构，不因数据或提示而临时出现。
- 它承担工作区角色：写入位置、按视角改写、被回答读取。
- 因果干预显示空间判断可被改变，非空间回答基本不受影响。
- 案例显示，S-Space 也会给未见实体和观察者分配位置，并把物理方向与抽象语言含义联系起来。
- 方向词读数揭示：基本方位（cardinal）与图像相对参考系之间存在系统性耦合。
- 关键瓶颈在计算侧：模型能形成可用的空间表征，却难以完成跨视角变化所需的变换。
读后思考
这项工作把「模型会不会」推进到「模型在哪里、以什么形式做」。
线性可读的坐标轴意味着，空间信息在模型内部并非弥散分布，而是有相对整齐的组织方式。这为可解释性提供了抓手：不必训练探针，直接对激活求导即可定位。
更值得注意的是结论的方向。以往讨论常把空间推理失败归因于「看不见」或「表征差」。这里给出的图景相反：表征够用，变换不够。这提示改进重点可能在于推理阶段的视角变换机制，而非单纯提升视觉编码器。
把 S-Space 当诊断工具也是可复用的思路：先找到内部变量，再用它反推失败环节。
局限与开放问题
- 摘要未给出模型规模、数据集与定量指标，结论的普适性待验证。
- 三条轴是否穷尽空间信息，摘要未给出。
- 因果干预的具体方式与强度，摘要未给出。
- 视角变换瓶颈能否通过训练或架构改动缓解，摘要未给出。
- S-Space 与语言模型已有的方向、颜色等线性表征之间关系如何，摘要未给出。
- 若 S-Space 可读，是否可用于纠正错误空间判断，摘要未给出。