MMDM: Measuring Massive Multitask Decision Making

一句话概括

现有决策模型基准易受数据污染、任务覆盖不全，作者提出 MMDM 基准，用 5,448 道新构造题测出模型在选项逻辑、约束规划与多选任务上明显短板。

速览

• 任务：构建大规模多任务决策基准，覆盖单select、多select 与软标签决策。
• 规模：5,448 道题，16 个任务类别，选项空间 2 至 1,024，输入最长 64,817 tokens。
• 评测：对 28 个决策模型做定量评估，并报告分任务准确率。
• 开源：摘要未给出代码与数据是否公开。

问题背景

系统 1 决策模型（System-1 Decision Model）在单次前向传播中，直接对查询指定的选项输出结构化概率决策。它不逐步生成推理轨迹，也不生成文本回答。

现有评测多依赖已有基准。模型可能已见过测试材料，泛化能力因此被掩盖。

真实决策常同时涉及长上下文、大选项空间与复杂逻辑依赖。现有基准难以把这三类挑战放在一起考察。

方法要点

作者构建 MMDM（Massive Multitask Decision Making）基准，共 5,448 道高质量题目，分属 16 个任务类别。

题目来源有两类：新构造任务，以及基于来源的重组与改写（source-grounded recomposition and rewrite）。改写让题目落在新语境中，降低记忆式作答的可能。

题型覆盖单选、多选与软标签决策。场景包括智能体状态跟踪、工具与技能选择、偏好判断、评分量表打分（rubric scoring）。

难度体现在选项空间与输入长度：选项数从 2 到 1,024，输入最长 64,817 tokens。

关键结论

作者用 MMDM 评测 28 个决策模型。结果显示：许多模型在常识类问题上表现良好，但在相互依赖的选项、带约束的决策与多选任务上表现下降。

具体数字：Perplexity Decider-V1.2 在世界知识类硬单选准确率为 78.75%，在选项逻辑上仅 53.95%，在约束规划上仅 47.95%。

所有模型中，硬多选准确率（Hard Multi-select Accuracy）最高为 36.81%。

作者据此提出 3 个优先方向：联合推理、约束感知选择、多选完整恢复。MMDM 作为衡量这些进展的测试平台。

读后思考

这组数字的落差值得注意：同一模型在常识题上接近 8 成，在约束规划上不到 5 成。差距不在知识量，而在把多个条件同时纳入决策的能力。

多选最高仅 36.81%，说明模型倾向漏选或错选。多选要求完整恢复全部正确项，比单选更考验组合判断。

基准设计上，「新语境改写」是应对数据污染的直接手段。但改写能否真正切断记忆，取决于改写幅度，摘要未给出细节。

对决策模型开发者，MMDM 的价值在于把长上下文、大选项空间与逻辑依赖放在同一测试面上，而不是分散在多个旧基准里。

局限与开放问题

• 摘要未给出数据与代码的开源情况，复现成本未知。
• 改写题与原始来源的相似度、污染控制效果，摘要未给出。
• 28 个模型的具体名单与评测设置，摘要未给出。
• 软标签决策的评分方式与指标定义，摘要未给出。
• 基准以英文与特定场景为主，跨语言与跨领域泛化能力待验证。