ScaffoldRESEARCH NOTES

REINFORCEMENT LEARNING · 论文音频解读

训练时搭支架,
推理时独立完成。

AutoScaffold: AI-Guided Scaffolding for Reinforcement Learning of Language Models
让教师提供恰到好处的策略提示,再检验学生能否独立解决任务。

先听懂,再深入13:58 AUDIO

听懂 AutoScaffold

中文音频解读 · ElevenLabs

直接打开音频 ↗下载音频

正在完整加载 音频,完成后尝试自动播放;若未响起,点击播放。

按原稿制作,含局部补录。自动播放受浏览器策略限制,未响起请点播放;音频为辅助理解,以原论文为准。

arXiv:2611.14515v1 · 2026.11.10探索这项研究

教师搭建训练支架,学生学会独立解题。

在复杂交互任务中,学生模型可能反复失败,很难获得有用的强化学习信号。AutoScaffold 使用冻结教师分析训练轨迹,提供任务类型层面的策略;数学实验还为困难题提供参考解答前缀。

这些辅助并不永久留在推理输入中。论文重点检验撤掉支架之后,学生是否仍然获得提升,避免把教师现场帮忙误认为学生能力进步。

一句话理解

训练时适度帮助,
评测时让学生自己做。

观察失败,更新提示,再验证独立能力

01

分析学生的轨迹

教师查看学生的尝试和失败模式,识别任务类别层面的困难,而非仅按最终奖励重复训练。

02

提供两种层次的支架

类别级策略面向任务类型;实例级参考解答前缀只在数学实验中使用。它们是训练辅助,不是推理时永久附加的答案。

03

撤除后评估

新类别提示先经验证集筛选,再进入训练;所有辅助信息在最终评测时移除。重点比较学生独立执行任务的结果,而非把教师和学生联手的成绩归给学生。

+7.2ALFWorld 成功率 · 百分点

作者报告独立评测的提升

相对 GiGPO,论文报告 ALFWorld 成功率提高 7.2 个百分点,搜索问答平均精确匹配提高 4.0 个百分点。结果需结合模型、任务和训练设置理解。

来源:arXiv 2611.14515v1。均为作者实验结果,并非所有模型与任务上的保证。
训练步数,不等于总成本。
教师 API 调用与提示验证会增加额外开销。论文中提示更新还需要验证,不能把训练步数减少直接换算成整体费用按比例下降。

回到原文,读完整细节。

RESEARCH PAPERAuto
Scaffold
learn.
arXiv:2611.14515v1
10 NOVEMBER 2026 · PREPRINT
在 arXiv 查看完整 PDF
RESEARCH PAPER · PREPRINT

AutoScaffold

作者与完整实验设置请参见原文。

arXiv 预印本 · 2026

对应 arXiv v1(2026 年 11 月 10 日提交)。本页链接 arXiv 官方 PDF,不重新托管原文。简介与音频为中文解读,以原论文为准。

在本页展开 PDF 阅读器

预览从 arXiv 官方加载。如果手机浏览器未显示,请直接打开 PDF,并使用浏览器的保存功能下载。

立川学习札记 · 全部论文 · 京ICP备17044010号-2