让大模型学会读教材:强化学习怎样奖励自学
- 2026-11-18 03:12:58

英文标题:Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
论文日期:2026-10-29
作者:Lingkai Kong、Yuzhe Gu、Haiteng Zhao、Zijian Wu、Youqing Fang、Zhouqi Hua、Yanan Sun、Kai Chen、Wenwei Zhang
来源:arXiv:2610.39671v1
影响因子:不适用(预印本;无期刊JIF年份)
状态:预印本,未经同行评审;官方正文方法及实验关键部分核验

研究解决了什么问题
面对陌生问题,检索到一段材料并不等于学会应用其中原理。如何训练模型在解题途中主动导航、阅读教材,再把新知识用于证明?
方法
BookNavigator提供目录、关键词检索、整节阅读;习题及其答案从可见教材中剥离。基于Intern-S2-Preview-35B作GRPO训练,用最终证明奖励、退火探索奖励及逐轮工具信用分配,学习何时读、读什么、如何用。测试时不更新权重。
主要发现
158本教材构建5183题;数学测试共626题,按每题四次采样的平均正确率计分。同一自学协议由训练前51.5%到79.5%,增28.0个百分点;训练后无书基线68.5%、固定检索最佳73.1%。这是LLM裁判判断的证明正确率,不是形式化证明通过率。跨任务BrowseComp-Plus、CL-bench仅提升1.7和2.3个百分点,CL-bench程序执行子类反降0.6个百分点。
对研究者的实际价值
编辑解读:对科研智能体,值得研究的不只是检索命中率,而是材料是否真正解决了推理中的缺口。课题组可先用方法文档和统计教材构造小型可判分任务,检验阅读策略是否迁移到新分析流程;本文没有直接验证生信或空间转录组。
局限性
证据主要来自一个35B初始模型、教材配对数学任务和两个外部基准。GLM-5.2裁判用八次独立审查,全部通过才判正确,仍不等于独立形式验证。留出教材或学科不保证基础模型预训练从未见过内容。交互阅读最多八轮、64k轨迹,成本和协议与单次固定检索不同;79.5%不能解读为28个百分点全来自检索。未核验到作者明确发布的本论文代码仓库,未运行复现。
研究切入点(编辑建议)
编辑建议:把导航、阅读、应用分别标注,采用人工或可执行检查复核裁判;按教材、方法和时间留出任务。增加同等工具预算与同等token预算对照,比较只奖答案、只奖调用及过程奖励,报告无效调用、延迟和失败类型;重点检验程序执行可靠性是否受损。
原文:
https://arxiv.org/abs/2610.39671
原始 PDF:
https://arxiv.org/pdf/2610.39671
代码:未找到作者明确提供的公开链接。
信息依据:官方arXiv摘要、HTML正文2–3节表1–4、3.1测试拆分和裁判协议,4节测试时权重边界已核验。标题作者截图来自官方摘要页;未找到作者明确提供的公开实现链接。
AI 辅助整理。研究切入点为编辑建议。预印本结论未经同行评审;期刊影响因子不代表单篇论文质量。