Rethinking Sequence Compression with Test-time Regression

一句话概括

论文把序列压缩重新表述为「测试时回归（test-time regression）」问题，用回归拟合系数作为压缩表示，提出 TTR-Compressor，在稀疏注意力与多模态视觉 token 合并两个场景上优于池化与投影类方法。

速览

任务：为高效语言与多模态模型设计通用序列压缩器，替代池化（pooling）与学习投影（learned projection）。
方法：输入 token 定义一个回归问题，回归系数即压缩表示；回归问题端到端反向传播学习，系数在前向中闭式求解。
关键数字：视觉 token 合并中比标准 MLP 合并器少用 55.6% 视觉 token 而性能持平；块稀疏注意力上 RULER 提升幅度摘要称「大幅」但未给具体数值。
数据与开源：摘要未给出数据集细节与代码开源情况。

问题背景

序列压缩是高效语言模型与多模态模型的基础操作，也是关键信息瓶颈。压缩质量直接决定后续注意力或融合模块能看到多少有效信息。现有主流做法是池化或学习投影。摘要判断这两类方法「表现仍不足」，但未展开具体失效机制。作者换了一个视角：不把压缩看成筛选或降维，而看成一次函数拟合。这个视角把「压缩表示」与「回归系数」对应起来。

方法要点

把输入 token 视为回归问题的观测，压缩表示取该问题的拟合系数。
回归问题本身由反向传播端到端学习，即「学什么回归」是训练出来的。
系数在前向传播中用闭式解（closed form）直接算出，不引入迭代求解开销。
由此得到 TTR-Compressor，定位为池化与投影压缩的通用替代品。
验证覆盖两个用途：块稀疏注意力（block-wise sparse attention）的压缩器，以及多模态大模型的视觉 token 合并器（visual token merger）。

关键结论

块稀疏注意力场景：TTR-Compressor 在 RULER 上超过基于注意力的压缩器，摘要称提升幅度大，具体数值摘要未给出。
视觉 token 合并场景：稳定优于标准 MLP 合并器。
效率侧：达到与 MLP 合并器相当的性能时，视觉 token 用量减少 55.6%。
作者据此主张，测试时回归可作为高效语言与多模态模型中序列压缩的有效基础原语（primitive）。

读后思考

这篇论文的价值主要在「换表述」而非「加模块」。把压缩写成回归，等于给压缩器一个可解释的数学目标：系数要能重建输入关系。闭式求解加端到端学习的分工值得注意：前向不算迭代，反向只学回归设定。这让它在推理侧的开销结构接近传统投影方法。两个验证场景分别对应「压缩后给注意力用」和「压缩后给融合用」，覆盖面比单一任务更广。但摘要只给了相对结论，缺少绝对指标与基线配置。若该方法成立，后续可追问：回归目标的形式选择有多敏感，压缩率提高时性能如何衰减。

局限与开放问题

摘要未给出 RULER 的具体提升数值、基线清单与实验规模。
摘要未说明回归问题的具体形式、系数维度与压缩率的对应关系。
55.6% 的 token 削减只在视觉合并场景报告，语言侧压缩率收益摘要未给出。
闭式求解的数值稳定性、序列长度扩展性与训练成本，摘要未给出。
代码与数据是否开源，摘要未给出。