一. 强化学习1.SFT与强化学习2.RM奖励模型ORM结果奖励标注困难成本高PRM过程奖励 简单 但存在结果对 过程错的情况。3. 奖励方法基于规则 (Rule-based Rewards)的奖励 deepseek基于模型Reward Model)的奖励, openai4. PPO有value Model, openai用2. GRPO: 没有Value Model, 让结果内卷。Deepseek原创。目标函数是越大越好目标函数代表了策略的预期累积收益Expected Reward/Advantage。。在公式中代表Advantage优势值/优势函数。在强化学习中优势值的核心作用是衡量“当前生成的回答或采取的动作比平均期望水平好多少”。具体到 GRPO 算法中其含义如下正优势意味着当前生成的回答的奖励得分Reward高于同组其他回答的平均水平。系统判定这是一个“好回答”因此在通过目标函数更新时会鼓励模型增大未来生成该类回答的概率。负优势意味着该回答的表现低于平均水平。系统判定这是一个“差回答”在更新时会惩罚模型降低其生成概率。二. 思维链技术1. 增强模型推理技术的手段1提高token数2生成更多个的输出2. 思维链方法1iput: promptoutput: W1W2, W3, R12并行搜索自我优化3. DeepSeek-R1训练过程4. 强化学习与蒸馏技术5.推理模型的未来趋势