Easy to Catch a Liar, Hard to Clear an Honest One: Language Models Diagnosing a Corrupted Reward Channel from a Verified Record

一句话概括

语言模型几乎总能抓出说谎的奖励报告者。但它经常把诚实的报告者误判为骗子。

依赖奖励学习的智能体，必须信任报告奖励的通道。可一旦报告突然变化，就有两种可能。世界真的变了，或者报告者坏了。

仅看报告序列，这两种情况无法区分。强化学习理论甚至证明，再多的后续经验也分不开它们。

理论给出的出路是：需要关于报告者本身的更丰富数据。而不是更多关于世界的经验。

论文问得很具体：把这样一份数据直接交给冻结的语言模型，它会用吗？

作者构造一个两选项游戏。两种情形产生逐字节完全相同的历史：

单看报告历史，二者不可区分。随后作者加入一条经过核验的记录。这是对某一轮真实结果的独立检查，与报告者对该轮的说法并排印出。理论上，这一行信息就足以定案。

实验让来自两个模型家族的三个大模型回答一个问题。只用一个字母作答：报告者是诚实的，还是在说谎？

作者还改变轮次、字母指代和措辞，观察判断是否稳定。摘要提到，作者事先对某个误判率做了注册预测。预测 58% 对应的情形为 35%，属于预注册式研究设计。

抓说谎者很容易：模型几乎能完美识别说谎的报告者。在 70B 级别，这一表现“在我们尝试的每个条件下都成立”。32B 模型在一种措辞下会失误。
澄清诚实者很难：模型为诚实报告者洗清嫌疑的比例明显更低。该比例取决于本不该重要的因素。
误判率数字：在轮次、字母、措辞上取平均后，72B 模型在“什么都没变”时有 38% 的概率把诚实报告者称为骗子。在“支付发生移动”时为 58%。第二个家族的 70B 模型对应数字为 26% 和 48%。
失败不是读不懂：在“什么都没变”的情形下，当答案直接印在提示里时，同样的模型得分在 0.96 到 1.00 之间。
驱动误判的表面特征因家族而异：对 Qwen 系列是记录指向哪一轮。对 Llama 是哪个字母代表“诚实”。
一个反直觉现象：把记录加入一个已经写明答案的提示中，反而让 Llama 更不可能给出那个答案。
预测被打破：作者事先注册的预测是 35%，实测为 58%。失败比预期更大。

摘要未给出：具体提示模板、样本量、统计显著性检验、各条件下完整分布，以及“32B 模型在哪种措辞下失误”的细节。

这项工作触及一个被忽视的对称性问题。在奖励通道诊断中，假阳性（冤枉诚实者）和假阴性（放过说谎者）的代价并不对称。

模型表现出强烈的“有罪推定”倾向。抓骗子很准，却不愿为诚实者开脱。若用语言模型自动审计奖励通道或数据源，它可能频繁误伤正常工作的组件。这会导致不必要的干预、重启或替换。

适用场景包括：RLHF/RL 训练中的奖励模型审计、数据标注管道中的异常检测、多智能体系统中对报告者的可信度评估。以及任何需要区分世界变化与信息源故障的监控任务。

论文的结论提示：把语言模型当作诊断器时，不能只看它抓坏人的能力。还要专门评估它“还人清白”的能力。并警惕提示措辞、字母标签等表面因素带来的偏差。