📖标题：Where the Model Changes Its Mind: Hindsight-Divergence Localization for Efficient Reinforcement Learning with Verifiable Rewards🌐来源：arXiv, 2609.36864v1🛎️文章简介🔸研究问题：在基于可验证奖励的强化学习中，如何避免从头生成完整轨迹的高昂成本，而是精准找到模型决策中真正需要调整的关键位置进行局部探索？🔸主要贡献：提出了一种名为“事后分歧定位”（HDL）的方法，通过计算模型在得知结果前后对同一 token 概率评估的变化，自动锁定关键分支点，从而大幅降低生成成本并提升任务性能。📝重点思路🔸生成少量根轨迹与反思：首先采样少量完整的初始轨迹（根），结合验证器的反馈（如代码测试失败信息），让模型生成一段“事后反思”，解释为何成功或失败。🔸计算事后分歧分数：将反思和反馈作为额外上下文，重新计算根轨迹中每个 token 的对数似然概率。比较有无反思上下文时的概率差异，绝对值越大，说明该位置是模型“改变主意”的关键点，即分支点。🔸构建局部训练组：保留根轨迹的前缀，仅在选定的高分支点处采样新的后续部分（后缀）。将这些新后缀与原始前缀拼接，形成新的完整轨迹，与前缀复用策略结合，减少重复生成的开销。🔸优化策略更新：使用标准的组相对策略优化（如GRPO）目标函数，但仅对新生成的后缀部分计算损失，确保学习信号集中在被重新探索的决策上。🔎分析总结🔸显著降低计算成本：相比传统的GRPO方法，HDL在数学、代码和智能体任务上减少了35%至61%的生成token数量，端到端 rollout 时间缩短了18%至45%。🔸提升任务性能：尽管生成了更少的数据，HDL在所有测试领域均提升了性能。特别是在复杂的智能体任务中，性能提升高达12.5个百分点