Latent Reasoning in Continuous Space for Unified Multimodal Models
一句话概括
LARC 把多模态统一模型（Unified Multimodal Model, UMM）的推理从离散 token 空间搬到连续隐状态空间，缓解模态不匹配，并在文生图基准上稳定提升生成质量与提示词遵循度。
速览
- 任务：面向统一多模态模型的文生图（text-to-image）生成，用连续空间隐推理替代基于语言链式思维（chain-of-thought）的 token 级推理。
- 方法：两阶段训练，先课程监督微调（curriculum SFT），再用信息增益强化学习（information-gain RL）自演化。
- 关键数字：在 GenEval 上比 BAGEL 提升 7 个百分点，达到当时最优；摘要未给出其他基准的具体数值。
- 数据与开源：摘要未给出数据集细节与代码开源情况。
问题背景
UMM 在多模态理解与生成任务上表现突出，但难以把语言链式思维推理有效用于图像生成。现有「推理增强」的 UMM 因此没能继承大语言模型（Large Language Model, LLM）那样的测试时扩展（test-time scaling）与细粒度可控性。
作者把失败归因于模态不匹配：推理发生在离散 token 空间，而图像生成工作在连续空间。token 级推理于是成为瓶颈，推理链的粒度与生成所需的连续表示对不上。
方法要点
LARC（Latent Reasoning in Continuous space）的核心是在连续隐状态上做推理，绕开 token 级瓶颈。训练分两阶段。
- 课程监督微调：逐步把 token 级推理转换为隐推理，避免一步切换带来的训练不稳定。
- 信息增益强化学习：不依赖真值监督，让隐推理自我演化；奖励信号来自信息增益。
推理与生成因此共享连续表示，模态间的接口被简化。
关键结论
- 在多个文生图基准上，LARC 一致提升生成质量、提示词遵循与组合保真度。
- GenEval 上比 BAGEL 高 7 个百分点，取得最优性能。
- 出现清晰的测试时扩展行为：并行与串行两种扩展策略下均优于基于 token 的生成。
读后思考
这篇工作的价值在于把「推理该在哪个空间发生」当作一等设计问题。过去推理增强多是把 LLM 的思维链直接搬到多模态模型上，本文指出接口层面的模态错配才是瓶颈。
信息增益 RL 不依赖真值，意味着隐推理可以继续自我改进，这与测试时扩展的观察相互印证。若隐推理真能随算力增长而变好，UMM 的推理能力就有了可扩展的训练路径。
局限与开放问题
- 摘要只给出 GenEval 的 7 个百分点，其他基准的提升幅度与方差未给出。
- 隐推理的可解释性弱于 token 推理，如何检验推理步骤是否合理，摘要未给出。
- 课程 SFT 与信息增益 RL 各自的贡献缺少消融信息，摘要未给出。
- 训练成本、数据规模与是否开源均未说明。
- 方法是否可迁移到图像编辑、视频生成等任务，仍待验证。