LoCoRESEARCH NOTES

REASONING COMPRESSION · 论文音频解读

推理,
何时该停下来?

LoCo
固定同一段推理前缀,学习更短且正确的后续。

先听懂,再深入14:34 MIN

听懂局部偏好学习

中文音频解读 · 14 分 34 秒

直接打开音频 ↗下载音频

正在加载音频。若自动播放被浏览器限制,请点击播放。

基于 arXiv v1 全文制作;AI 合成语音,重要结论请结合原文阅读。

arXiv:2611.04814v1 · 2026.11.03探索这项研究

不是一味少想,而是停止已经多余的重复。

LoCo 固定题目和已生成的推理前缀,把原来的长续写与重新采样、验证正确的短续写组成局部偏好对,再用 DPO 学习更高效地继续或结束推理。

一句话理解

让偏好数据回答:
已经走到这里,接下来还需要想什么?

找切点、验证续写、学习偏好

01

筛选可能冗余的位置

根据模型自身预测置信度和波动筛选候选步骤,再由评判模型检查下一步是否带来新信息。低置信度并不自动等于冗余。

02

在同一前缀下重新采样

学生模型生成多条续写,经标准答案验证,选择更短且正确的版本;保留共同前缀,使对比集中在后续行为。

03

训练局部偏好

用 DPO 提高较短正确续写的相对偏好。它不是部署时强制截断输出,也不要求所有题目都用同样短的思考。

41.7–45.4%数学评测中的输出长度减少

减少输出,同时保留必要推理

主要实验使用 DeepSeek-R1-Distill-Qwen-7B,只用数学训练题构造数据,并在数学与代码评测中测试。结果支持该设置下较好的准确率与长度权衡。

来源:arXiv:2611.04814v1,主结果表。并非每项准确率都提升,也不是跨所有模型与任务的保证。
更短,不自动等于更快或更便宜。
数据制作还包含轨迹生成、候选续写、评判和答案验证。token 减少不能直接换算为同等比例的端到端延迟或总成本下降。
自生成不等于完全不依赖外部信号。
候选轨迹来自学生自身,但流程使用更强的评判模型和标准答案;数学到代码迁移也不能直接推广到开放式业务或长程工具任务。

回到原文,读完整细节。

ARXIV PREPRINT · v1

Think Less, Locally: Local Preference Learning for Reasoning Compression

首次提交于2026年11月3日。预印本,未核实正式录用。简介与音频为中文导读,以原论文为准。本页链接官方PDF,不重新托管原文。

在本页展开 PDF 阅读器 +

若手机未显示预览,请直接打开上方 PDF。

立川学习札记 · 全部论文 · 京ICP备17044010号-2