MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering

一句话概括

MLExpert 用分层智能体监督微调与窗口化交互强化学习，训练出 35B 专家混合（Mixture-of-Experts, MoE）智能体模型，在 MLE-Bench Lite 上把基座模型平均奖牌率从 37.9% 提升到 72.7%。

速览

• 任务：面向长程自主机器学习工程（Machine Learning Engineering, MLE）优化，训练能自主组织实验的智能体模型。
• 方法：分层智能体 SFT（监督微调）加窗口化交互强化学习（Windowed Interaction RL, WIRL），配合异步采集与策略校正。
• 关键数字：MLE-Bench Lite 平均奖牌率 37.9% → 72.7%，与 Kimi-K3、GLM-5.3 等更大前沿模型相当。
• 数据与开源：论文提出 Kaggle-MLE Factory 构建可执行任务；代码与数据是否开源，摘要未给出。

问题背景

大语言模型（Large Language Model, LLM）正从辅助科研工程走向自主开发与改进 AI 系统，这一方向被称为 AI for AI（AI4AI），被视为通向递归自我改进（Recursive Self-Improvement, RSI）的路径。

工作流驱动的 MLE 系统通过复杂编排管理长程实验，是落地该目标的现实途径。近期系统转向模型主导的交互，让模型自行组织实验、依据执行反馈调整优化策略。

难点在于监督信号的选择。单次实验反馈反映的是此前多个决策的叠加结果，而一次长程 MLE 运行包含大量此类高成本实验。训练必须从长交互轨迹中筛出有用监督，并学会利用中间结果。

方法要点

作者提出一套面向长程 MLE 优化的后训练方法，并据此训练 MLExpert，一个 35B 的 MoE 智能体模型。

• 任务与交互底座：设计 Kaggle-MLE Factory 构造可执行任务，并提供模型主导实验的交互框架（harness）。
• 分层智能体 SFT：以结果引导的监督，把通用工具使用与编码能力迁移到 MLE 场景。
• 窗口化交互 RL（WIRL）：把相邻两次实验结果之间的多轮决策视为一个执行窗口，给整个窗口分配共享的、基于结果（outcome-based）的奖励。
• 异步采集与策略校正：在轨迹结束前即可完成策略更新，缓解长程交互的等待成本。

关键结论

在 MLE-Bench Lite 上，MLExpert 将基座模型的平均奖牌率从 37.9% 提升至 72.7%，达到与 Kimi-K3、GLM-5.3 等更大前沿模型相当的水平。

作者进一步在 NatureBench Lite、智能体脚手架（agent scaffold）优化与算法优化上做实验，结果显示学到的优化能力可泛化到其他任务。

读后思考

这篇工作的核心洞察在监督粒度：长程 MLE 中单步反馈与单步决策的对应关系很弱，逐轮打分容易失真。WIRL 把「两次实验结果之间的一段决策」打包成一个窗口并共享奖励，等于承认信用分配（credit assignment）应发生在窗口层面。

异步采集与策略校正则针对长程任务的工程瓶颈：若必须等整条轨迹结束才更新，样本效率会被拖垮。把这两点结合，是该方法在 35B 规模上取得明显提升的合理解释。

另一个值得注意的点是评测的横向扩展。奖牌率之外，作者用脚手架优化与算法优化检验泛化，说明其目标不是刷单一榜单，而是训练一种可迁移的「实验—反馈—调整」能力。

局限与开放问题

• 摘要只给出 MLE-Bench Lite 的奖牌率，其他基准的具体数值与统计口径摘要未给出。
• 窗口长度、奖励设计细节、异步更新的稳定性代价等超参数敏感性，摘要未给出。
• 与 Kimi-K3、GLM-5.3 的对比仅称「相当」，参数量与推理成本差异未量化。
• 训练数据规模、Kaggle-MLE Factory 的任务覆盖范围与开源情况，摘要未给出。
• 开放问题：窗口级共享奖励是否会掩盖窗口内部的错误决策；该方法能否扩展到多智能体协作或更长程的科研流程。