Training Foundation Models with a Single Algorithm

一句话概括

论文提出「统一训练（unified training）」，把预训练、中训练、监督微调（SFT）与强化学习（RL）纳入同一个基于似然的训练算法。作者认为，各阶段在算法上的分离并非根本必要。

速览

• 任务：把基础模型（foundation model）训练生命周期中的多个阶段统一为单一算法框架。
• 方法：将合适的 RL 目标推导为对模型生成目标分布的最大似然拟合（maximum-likelihood fitting）。
• 系统：在单一训练器中混合静态数据与 RL 生成，实现该框架。
• 数据与开源：摘要未给出具体数据集、模型规模与开源情况。

问题背景

基础模型通常分阶段训练：预训练、中训练、监督微调、强化学习。各阶段不仅数据不同，学习算法也不同。

这种分阶段做法带来两类成本。其一，工程上要维护多套训练流程与基础设施。其二，阶段之间的切换点、数据配比与顺序，缺少统一的理论语言来描述。

论文要回答的问题是：算法层面的分离是否必要？能否用同一个目标函数覆盖全部阶段？

方法要点

核心思路是换一个视角看 RL。作者把合适的 RL 目标推导为「对模型生成目标分布做最大似然拟合」。

由此，各训练阶段都可写成同一个基于似然的算法，即统一训练。传统分阶段训练成为该框架的一个特例。

在这个视角下，训练生命周期的问题变成三个选择：训练哪些数据、以什么比例、在什么时机。摘要称其为「数据选择问题」，而非算法切换问题。

作者还实现了一个统一训练系统，在单个训练器内混合静态数据与 RL 生成。这使上述理论视角具备可执行的工程形态。

关键结论

论文报告了受控实验与真实场景实验两类结果。摘要给出的结论有三点。

第一，统一训练改善了精度与算力之间的权衡（accuracy-compute tradeoff）。第二，它提升了任务覆盖范围。第三，它在上述改进的同时保留了更广泛的能力。

此外，统一训练为持续学习（continual learning）提供了更好的起点。作者将其定位为「统一的基础模型训练科学」的基础工作，连接数学原理、训练基础设施与模型能力发展。

具体提升幅度、对比基线、模型规模等数字，摘要未给出。

读后思考

这篇论文的价值可能不在某个新算法，而在重新划分问题边界。若各阶段真能写成同一似然目标，那么研究重点会从「设计阶段算法」转向「设计数据课程」。

这对工程实践有直接含义。多阶段流水线中的大量胶水代码与调参经验，可能被统一为数据配比与调度策略。传统流程则作为特例保留，降低迁移风险。

另一个值得关注的点是「模型生成目标分布」的构造方式。它决定了 RL 阶段能否被无损地纳入似然框架，也决定该方法与既有 RL 微调方法的可比性。摘要对此未展开。

局限与开放问题

• 摘要未给出实验规模、基线设置与具体数值，结论的强度难以独立判断。
• 「模型生成目标分布」如何选取与构造，摘要未说明；这可能是方法成立的关键前提。
• 保留广泛能力的评估方式与覆盖范围，摘要未给出。
• 统一训练在超大规模预训练上的算力效率，摘要未给出。
• 与传统分阶段流程的公平对比条件，摘要未给出。
• 持续学习中的「更好起点」如何度量，摘要未给出。

总体看，这是一篇立场鲜明的框架性工作。它给出的是一套统一语言与一个可运行系统，实证细节仍需阅读全文核实。