MSI-Bench: Evaluating Multi-Speaker Voice Interaction for Collaborative AI Agents

一句话概括

MSI-Bench 是首个系统评测多人同时说话场景下语音 AI 智能体的基准。它用 1152 个中英双语多人多轮音频场景，显示当前最强系统在多人语音交互上仍未及格。

语音正在成为人与 AI 智能体交互的自然入口。但真正有价值的语音场景——会议、家庭、协作办公——几乎都是多人的：多人同时在场、轮流发言、彼此打断、互相指代。这与一对一语音助手有本质区别。

一对一场景里，系统只需回答「用户说了什么」。多人场景里，系统还要回答一连串额外问题：这句话是谁说的？现在轮到谁？有人在叫我吗，还是他们在互相交谈？我该不该插话？这些挑战在一对一交互中基本不存在，因此长期缺乏专门的评测手段。论文正是针对这一空白提出 MSI-Bench。

每个测试用例是一个短篇多人多轮音频场景，并配有参与者上下文（participant context）、期望的工具调用（expected tool calls）以及原子化评分标准（atomic rubrics）。原子化评分把一个场景的合格表现拆成若干条可独立判定的细项，避免笼统打分掩盖具体失败点。

基准覆盖三大能力族：

规模上共 1152 个测试用例，中英文各 576 个，均衡分布。多数语音基准以英文为主，中文对等设计能暴露语言相关的差异。

评测结果方面，摘要给出两组关键数字：各语言分片上最强配置的全项通过率为英文 66.8%、中文 54.5%；最强开源权重配置为英文 34.0%、中文 19.3%。

第一，多人语音交互是当前系统的普遍短板。即便最强配置，也有约三分之一的英文场景、近一半的中文场景无法通过全部评分项。这不是个别模型的偶发失误，而是能力层面的系统性缺口。

第二，开源与前沿系统之间存在明显差距。开源权重配置的通过率不到前沿系统的一半（英文 34.0% vs 66.8%，中文 19.3% vs 54.5%），且中文上的差距更为悬殊。

第三，失败原因可以分层归因。论文的失败分析把感知与推理分开：开源权重模型的瓶颈主要在多人音频前端，即听不清、分不清谁在说；前沿系统即便拿到干净转写文本，仍在说话人范围的决策上出错。两类系统的改进方向并不相同。

第四，一个跨模型的共性问题是不该说话时说话。摘要明确指出，各类模型普遍会在没有人对它说话时做出回应。这既是技术问题，也是交互设计问题。

需要说明：摘要未给出各能力族（记忆／指令遵循／推理）的分别得分，也未给出具体模型名称、音频时长分布、评分聚合方式等细节；最强配置与最强开源权重配置分别对应哪些系统，摘要亦未说明。

这个基准的价值在于把多人从一个模糊的产品形容词，变成可测量的能力维度。它至少适用于三类场景。

一是会议助手。会议天然多人、多轮、有插话，系统需要知道哪条待办是谁承诺的，而不是把所有人的话混成一锅。

二是家庭与共享空间设备。多个家庭成员在场时，设备必须判断指令来自谁、是否针对自己、要不要回应。

三是协作型智能体。当多个 AI 与多个人共同参与任务时，对话克制本身就是一项能力——不抢话、不误应答，往往比多说一句更重要。

从工程角度看，论文把失败拆成前端感知与后端决策两层，对团队排优先级很有参考价值：如果模型在干净文本上也会搞错说话人范围，那么堆音频前端可能解决不了问题。

评测与真实场景的距离。用例是短篇音频场景，而真实会议可能长达一小时。跨小时的说话人记忆与指代消解是否同样表现，摘要未给出。

评分口径。全项通过率（pass all rubrics）是严格指标，能反映完全合格的比例，但无法体现部分正确的进步幅度。各能力族的细分表现、错误类型的量化分布，摘要均未给出。

中文差距的成因。中文通过率系统性低于英文，是数据、语音前端，还是模型中文多人语音能力本身的问题？摘要未给出分析。

对话克制如何定义与训练。模型普遍在无人呼叫时回应，这背后可能是训练目标鼓励总是有帮助，也可能是缺乏显式的不回应标签。如何在不牺牲响应率的前提下教会模型沉默，是一个开放问题。

基准的时效性。论文发表于 2026 年 9 月，其结论反映的是当时系统的水平。随着模型迭代，这些数字会迅速过时，但说话人范围的决策与对话克制这两个问题，很可能比单纯的识别准确率更持久。