Piccolo: Co-Evolving Decision Models and Data through Recursive Self-Improvement
一句话概括
Piccolo 用「智能体数据工程」与递归自我改进(recursive self-improvement, RSI)让多模态决策模型与训练数据共同进化,27B 版本在 Decision Index Vision Full 榜上以 75.59 分登顶。
速览
- 任务:模型对候选答案预测概率,覆盖通用文本与视觉判断、智能体框架(agent harness)、数据工作流与交互游戏。
- 规模:模型家族覆盖 0.8B 至 27B;Piccolo-27B 得 75.59 分,Piccolo-9B 与 Piccolo-4B 分别为 68.35 与 67.46。
- 数据:训练配方包含数十万条示例,数据选择与反馈驱动修正是自我改进的核心。
- 开源:权重与工具随 Data-Juicer、AgentScope 生态发布;具体许可协议摘要未给出。
问题背景
决策模型要在一组候选答案上给出概率,而非自由生成文本。这类能力支撑智能体选动作、数据流程做判断、游戏做决策。难点在于:模型能力与训练数据互相制约,数据质量决定上限,模型行为又决定该造什么数据。传统做法把数据构建与模型训练分成两段,迭代慢,反馈难回流。作者提出用研究智能体自动分析模型行为、构造数据、跑实验,再把结果用于下一轮提案。
方法要点
- 共同进化:模型能力与训练数据同步迭代,形成闭环,而非单向「先造数据再训练」。
- 智能体数据工程:研究智能体承担行为分析、数据构造、实验执行与提案修正 4 类动作。
- 跨模型连接:语义切片(semantic slices)与共享研究记忆(shared research memory)把家族内各模型的开发过程串起来。
- 训练配方:数十万条示例规模,重心放在数据选择与反馈驱动修正,而非单纯堆数据量。
关键结论
作者称大规模 RSI 探索得到 3 条反直觉发现:
- 骨干与配方的协同适配比模型新旧更重要;相同配方下,较早的骨干可在视觉任务上超过更新代际。
- 定向数据整编能让 4B–9B 模型在专门工作流上比肩 27B 基线。
- 训练损失持续下降可与离散决策准确率脱钩,甚至使其变差。 榜单结果:3 个尺寸版本在 Private 基准上均列各自规模档第 1。
读后思考
第 3 条发现对评测实践有直接含义:损失是连续代理指标,决策准确率是离散目标,二者不必同向。若只盯损失曲线调配方,可能选到决策更差的检查点。第 1 条则提示,模型选型不能只看发布时间,要看骨干与配方的匹配度。第 2 条把「数据整编」抬到与参数规模并列的位置,对小模型落地专门场景是利好信号。
局限与开放问题
- 摘要只给榜单分数,未给各任务的细分结果与基线对比细节。
- 「反直觉发现」的证据强度、实验规模与消融设计,摘要未给出。
- 共享研究记忆与语义切片的具体机制、智能体自主程度,摘要未给出。
- 开源权重与工具的许可、可复现程度,摘要未给出。
- 损失与决策准确率脱钩的成因是否可预测、可干预,仍是开放问题。