分析学生的轨迹
教师查看学生的尝试和失败模式,识别任务类别层面的困难,而非仅按最终奖励重复训练。
REINFORCEMENT LEARNING · 论文音频解读
AutoScaffold: AI-Guided Scaffolding for Reinforcement Learning of Language Models
让教师提供恰到好处的策略提示,再检验学生能否独立解决任务。
中文音频解读 · ElevenLabs
正在完整加载 音频,完成后尝试自动播放;若未响起,点击播放。
按原稿制作,含局部补录。自动播放受浏览器策略限制,未响起请点播放;音频为辅助理解,以原论文为准。
教师搭建训练支架,学生学会独立解题。
在复杂交互任务中,学生模型可能反复失败,很难获得有用的强化学习信号。AutoScaffold 使用冻结教师分析训练轨迹,提供任务类型层面的策略;数学实验还为困难题提供参考解答前缀。
这些辅助并不永久留在推理输入中。论文重点检验撤掉支架之后,学生是否仍然获得提升,避免把教师现场帮忙误认为学生能力进步。
训练时适度帮助,
评测时让学生自己做。
教师查看学生的尝试和失败模式,识别任务类别层面的困难,而非仅按最终奖励重复训练。
类别级策略面向任务类型;实例级参考解答前缀只在数学实验中使用。它们是训练辅助,不是推理时永久附加的答案。
新类别提示先经验证集筛选,再进入训练;所有辅助信息在最终评测时移除。重点比较学生独立执行任务的结果,而非把教师和学生联手的成绩归给学生。
相对 GiGPO,论文报告 ALFWorld 成功率提高 7.2 个百分点,搜索问答平均精确匹配提高 4.0 个百分点。结果需结合模型、任务和训练设置理解。
来源:arXiv 2611.14515v1。均为作者实验结果,并非所有模型与任务上的保证。arXiv 预印本 · 2026
对应 arXiv v1(2026 年 11 月 10 日提交)。本页链接 arXiv 官方 PDF,不重新托管原文。简介与音频为中文解读,以原论文为准。