On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models

一句话概括

论文把同策略自蒸馏（on-policy self-distillation）改造成自训练框架：模型只凭粗粒度主题描述，自行生成问题、答案与特权推理示范，无需人工标注即可在多领域自我提升。

速览

任务：在无真值问答对、无人工题目集的条件下，让基础模型自我改进。
方法：自生成问答对 + 特权推理示范（privileged reasoning demonstrations），驱动同策略自蒸馏。
数据：仅用粗粒度高层主题描述，摘要未给出具体主题数量与数据规模。
结果：在标准语言基准与视觉问答（Visual Question Answering, VQA）上报告一致提升；开源情况摘要未给出。

问题背景

同策略自蒸馏已能在不依赖更强外部教师的前提下做后训练。但现有方法仍需要真值问答对、人工整理的问题集或其他监督信号。这使「自提升」实际仍受外部任务监督约束。作者追问：若连题目和答案都由模型自己生成，自蒸馏还能否成立？其动机是基础模型可能已具备丰富的潜在能力，只缺一个放大机制。

方法要点

监督推到极限：输入只有粗粒度、高层主题描述，不提供人工提示或答案。
模型自建课程：围绕主题合成查询，并生成特权推理轨迹作为示范。
训练目标沿用同策略自蒸馏：学生在自己生成的分布上学习教师的推理过程。
特权信息完全合成，因此不依赖任何外部标注。
框架跨文本与多模态领域通用，同一思路用于语言任务与 VQA。

关键结论

在完全合成的特权信息上做自蒸馏，模型可在多个领域取得提升。
未参与自训练的领域上，模型能力得以保留，说明提升不是以遗忘为代价。
文本基准与 VQA 上均观察到一致的自我改进。
作者据此主张：基础模型的潜在能力可在无外部任务监督、无人工问题分布的情况下被放大。

读后思考

这篇工作的价值在于把「教师从哪来」这一问题彻底内化：教师不再是外部强模型，而是模型在特权信息下生成的推理轨迹。它把自蒸馏与自训练两条线合并，使后训练的数据管线可以完全脱离人工。若结论稳健，数据标注成本将不再是自提升的瓶颈。另一个值得注意的点是「保留未训练领域能力」，这暗示合成课程可能比想象中更少地扰动原有分布。不过，摘要只给出方向性结论，提升幅度与保留程度仍需看正文。

局限与开放问题

摘要未给出具体基准名称、提升幅度与模型规模，结论强度无法从摘要判断。
自生成问答的质量上限即教师质量上限，错误推理可能被自我强化；摘要未讨论该风险。
粗粒度主题描述由谁提供、覆盖多广，摘要未给出。
「保留未训练领域能力」缺少量化定义，遗忘与提升的边界不清。
多模态部分仅提及 VQA，其他模态任务是否适用，摘要未给出。
开源情况与复现细节，摘要未给出。