EMON TECH MEDIA · PAPERS — DNA·52CD39

The Value of Thinking: Learning When to Reason in Hybrid Decision Models

论文提出「零或 T 思考(zero-or-T thinking)」范式:模型要么在一次前向中直接给出答案、不生成任何 token,要么在值得时进行完整的自回归推理。作者用混合决策模型(HDM)实现它,并在多个基准上同时降低 token 成本与延迟。

发表日期

作者

Zhengxu Yu, Ke Xu, Meng Fang, Haitham Ammar, Weilin Luo, Jun Wang

影响力

70.5

阅读时长

约 3 分钟

标签

推理

The Value of Thinking: Learning When to Reason in Hybrid Decision Models

一句话概括

论文提出「零或 T 思考(zero-or-T thinking)」范式:模型要么在一次前向中直接给出答案、不生成任何 token,要么在值得时进行完整的自回归推理。作者用混合决策模型(HDM)实现它,并在多个基准上同时降低 token 成本与延迟。

速览

  • 任务:让单一模型自适应决定「不写推理直接答」还是「完整推理」,而非压缩已有推理长度。
  • 方法:冻结骨干网络共用两种模式,轻量自路由块(self-routing block)估计「思考价值」,超过价格 λ 才启用慢模式。
  • 训练:无逐决策标签时,用校准决策策略优化(CDPO)从回合级回报训练路由块。
  • 数据与开源:评测覆盖 MMLU-Pro、AGIEval、GPQA-Diamond、JevBench、BANKING77、MiniWoB;开源情况摘要未给出。

问题背景

现有自适应推理方法有两条路:缩短模型写出的显式推理,或在模式间切换以跳过推理。两者都保留同一个前提——答案仍要逐 token 写出。

这意味着「思考」的成本始终与输出长度绑定。作者换了个问法:不是决定「想多少」,而是决定「想不想」。

方法要点

  • 双模式共用骨干:一个冻结的主干网络同时支撑快模式与慢模式,避免维护两套模型。
  • 快模式不产 token:答案来自单次前向中的隐式思考,输出成本接近零。
  • 自路由块做决策:它依据隐式思考已产生的表征,估计慢模式相对快模式的期望增益,即「思考价值」。
  • 价格阈值 λ:按请求设定,价值超过 λ 才触发慢模式,形成可调的性价比旋钮。
  • CDPO 训练:在情节式智能体任务中缺少逐决策标签,改用回合级回报训练路由块,并做校准。

关键结论

  • JevBench 上 HDM-4B 得分 0.857,对比 Jev 的 0.851,提升 0.7%。
  • 同基准中位延迟 0.179 s,对比 0.652 s,下降 72.5%。
  • MiniWoB 上 HDM-27B 将 token 成本削减 80.1%。
  • 结论指向:精度基本持平甚至略优时,计算与延迟可大幅压缩。

读后思考

这篇论文的价值在于把「推理」从输出格式中解耦。以往的自适应推理仍在自回归框架内做减法,HDM 则让「不思考」成为真正零成本的选项。

路由块读取的是隐式思考的表征,而非事后答案。这让决策发生在生成之前,符合「先估价再付费」的逻辑。

λ 按请求设定,意味着部署方可以按场景调性价比。这对延迟敏感的智能体任务有现实意义。

局限与开放问题

  • 摘要只给出 6 个基准的结果,跨任务泛化性仍需更多证据。
  • 快模式不产 token,其答案可解释性与可审计性摘要未讨论。
  • λ 的设定策略、CDPO 的校准细节与训练成本,摘要未给出。
  • 路由块误判的代价(该慢却快)如何界定,摘要未给出。
  • 代码与模型是否开源,摘要未给出。

本页为科普精读;细节以 arXiv 原文为准。就本篇提问请点左下角「论文研读助手」。