Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design

一句话概括

Designer-RSI 让权重冻结的前沿模型操作专业设计软件。它把用户流量中积累的自然语言「程序性记忆（procedural memory）」当作可增可改的技能库。在无权重更新、无人工标注的条件下，它把设计代理的执行成功率从 72.7% 提升到 99.3%。

任务与方法：冻结模型通过 230 多个工具操作专业设计软件。外部程序性记忆负责积累与修订自然语言技能。全程无权重更新、无人工标签。
关键数字：五轮迭代后技能库从 76 条增至 139 条。Claude-Sonnet-4 上 GenEval2 执行成功率由 72.7% 升至 99.3%。生成质量提升 11.99 个百分点。
数据与评测：迭代基于 1,406 份真实用户简报、1,869 条自动评分轨迹。四个专业设计基准上，相对无技能代理的胜率为 61.8%（Claude-Sonnet-4）与 67.6%（Claude-Opus-4.6）。
开源情况：摘要未给出。

专业平面设计是典型的「长程代理任务（long-horizon agentic task）」。最终产物是一份结构化、可继续编辑的设计文件。它由大量相互依赖的操作逐步堆叠而成。

这类任务有两个棘手性质。

在这种环境下，靠强化学习更新模型权重既昂贵，又容易被噪声带偏。作者选择的路线是：不动模型权重。转而维护一份外部的、用自然语言写成的「程序性记忆」。可复用的设计流程沉淀成技能条目。冻结的模型在需要时调用。这相当于把「学习」从参数空间搬到了上下文空间。

框架由三部分组成。

冻结的执行者：一个前沿模型通过 230 多个工具操作专业设计软件。它本身不做任何微调。

可增长、可加深的记忆库：记忆以自然语言技能的形式存在。

匹配重放门控（matched replay gate）：这是防止记忆退化的关键机制。任何对记忆的修改都必须同时通过两类检验。一是修好了原本失败的案例。二是没有让原本成功的案例变差。只有满足条件的改动才被接纳。

整个流程在 1,406 份真实用户需求简报上迭代五轮。它产生 1,869 条自动评分的执行轨迹。全程无权重更新、无人工标签。

五轮迭代后，技能库从 76 条文档衍生技能增长到 139 条。
在 Claude-Sonnet-4 上，GenEval2 执行成功率从 72.7% 升至 99.3%。生成质量提升 11.99 个百分点。
在四个专业设计基准上，相对无技能代理的胜率分别为 61.8%（Claude-Sonnet-4）和 67.6%（Claude-Opus-4.6）。
两种机制需要配合使用。在用户流量基准的 200 份留出简报上，单独拓宽或单独加深的胜率分别是 49.4% 和 48.6%。二者结合达到 58.5%（p = 0.025）。
摘要未给出：技能条目的平均长度、单条技能的复用频次、五轮迭代中每轮的具体增益曲线、失败案例的类型分布，以及「自动评分」所依据的具体判据。摘要也未说明 99.3% 与 72.7% 是否在同一批简报上测得，还是分别对应不同评测集。

这篇工作最值得注意的地方，是它把「持续适应」从权重空间解耦出来。在设计、写作、剪辑、复杂业务操作这类领域，反馈嘈杂，也没有可靠 oracle。梯度更新往往既不可行也不划算。一份可审计、可回滚、可人工干预的自然语言技能库，反而更贴近工程现实。

匹配重放门控这个设计尤其务实。它把「不要越改越差」这条朴素的工程直觉，变成了一个可执行的准入条件。

适用场景上，这套思路有三个前提。一是有大量真实用户请求。二是有专业软件工具链。三是结果难以自动判分。凡是满足这三条的代理任务，都可以考虑这套思路。它天然适合作为产品侧的持续优化层，而不是训练侧的方案。

首先，摘要中的评测依赖「自动评分」。在一个明确承认「没有可靠程序化 oracle」的领域里，自动评分的可信度本身就需要交代。摘要未给出评分器的构造方式与验证结果。

其次，胜率数字（61.8%、67.6%）相对无技能基线而言。它缺少与「人工撰写技能库」或「更强基线代理」的对比。因此难以判断增益中有多少来自记忆机制本身，多少只是来自更多的上下文提示。

第三，记忆库增长到 139 条之后是否会出现检索冲突、条目冗余或相互矛盾的技能，摘要未给出。随着轮次继续增加，匹配重放门控能否持续拦住退化，也是一个开放问题。

最后，这套方法高度依赖底层模型的能力上限。当冻结模型本身无法完成某个子任务时，记忆层能做的只是把流程写清楚。它无法补上能力缺口。这条边界在哪里，值得进一步刻画。