Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model

一句话概括

论文提出一种按需提精的解码策略：平时用 8 位权重的高 4 位解码，只在低精度输出分布不确定时把该步重算为 8 位。在 Qwen3-0.6B 与 GSM8K 上，熵门控以约 16% 的提精率取得接近全高精度的准确率，但实时数据尚不足以区分门控与两端基线。

速览

• 任务：研究局部分段解码中的权重位宽分配，用不确定性门控触发单步提精；模型为 Qwen3-0.6B，基准为 GSM8K。
• 方法：8 位权重存储、4 位高位解码，熵或 top-two 间隔超阈值时该步以 8 位重算；量化为模拟。
• 关键数字：36724 个重放步上，低精度熵对 argmax 翻转的 AUC 为 0.93；15% 提精预算下熵门控捕获 78% 翻转，间隔门控 94%。
• 数据与开源：摘要未给出数据集开源与代码发布信息；实时实验仅 150 题，随机对照、思考模式阶段规则、第二模型与实时 KL 均未运行。

问题背景

本地解码通常为整个生成过程固定一个权重精度。高精度准确但读权重字节多，低精度省字节但可能改变输出。作者关注另一种分配：把精度当作按步可调的预算。

核心假设是低精度输出分布本身携带不确定性信号。若某步分布平坦或前两名接近，就值得多读几位权重重算该步；其余步维持低精度。

成本以每 token 读取的权重字节计。这一口径把「何时提精」转化为可量化的字节—准确率权衡问题。

方法要点

• 存储与解码分离：权重存 8 位，默认只取高 4 位参与解码，降低每步读取字节。
• 门控信号：低精度输出分布的熵高于阈值，或前两名概率间隔小于阈值，即触发提精。
• 提精动作：仅对该步以 8 位权重重算，而非整段生成切换精度。
• 评估设计：先离线重放步级数据检验门控排序能力，再做 150 题实时对比，并设提精率匹配的随机门控作参照。

关键结论

离线重放显示熵是有效的翻转预测信号。36724 步上 AUC 0.93；15% 预算下熵门控捕获 78% 的 argmax 翻转，间隔门控达 94%，远高于同提精率随机门控的 15% 期望（作者注明这是计算期望，非实跑）。

实时结果方向一致但统计力不足。全高精度 64.0%，全低精度 55.3%（McNemar p=0.053）。16% 提精率的熵门控得 62.7%，耗用全高精度 0.87 的权重字节。

配对比较未达显著：门控相对全高精度为 -1.3 点（-8.0 至 +5.3），相对全低精度为 +7.3 点（+0.0 至 +14.7，p=0.080）。作者据此承认实时数据无法把门控与两端分开。

读后思考

这篇工作的价值在于把「精度」从全局超参变成逐步决策变量，并用字节成本统一度量。离线 AUC 与门控捕获率说明不确定性信号确实有排序能力，这是方法成立的前提。

但离线指标与端到端准确率之间存在缺口。捕获翻转不等于答对题，重算后的分布也可能仍错。150 题样本对 1 至 7 点的差异缺乏分辨力，置信区间跨越零，结论只能算趋势。

另一个值得注意的对照是验证式推测解码：摘要在同一成本模型下报告其可达零 KL。这提示门控提精的收益边界取决于「重算是否等价于全精度」以及「省下的字节是否真能换来吞吐」。

局限与开放问题

• 统计力不足：实时仅 150 题，主要配对比较 p 值在 0.05 至 0.08 之间，无法定论。
• 对照缺失：实时随机门控、思考模式阶段规则、第二模型、实时 KL 均未运行，泛化性未知。
• 量化方式：量化为模拟，真实低位存储与读取开销可能不同。
• 成本口径单一：只计权重字节，未计入门控计算与重算调度的额外开销。
• 开放问题：门控阈值如何随任务与模型规模迁移；多步连续提精是否优于单步；与推测解码结合能否同时保住零 KL 与字节节省。