强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升¶
Ch01.1327 强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升¶
📊 Level ⭐⭐ | 3.9KB |
entities/强化学习没作用人大delta精准识别关键token推理正确率大幅上升.md
强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升¶
强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升¶
关注前沿科技 关注前沿科技 量子位
在小说阅读器读本章
去阅读
在小说阅读器中沉浸阅读
DelTA团队 投稿¶
量子位 | 公众号 QbitAI
做大模型RL微调，你是不是也踩过这些坑？
强化学习训练总不稳定、正负样本梯度难区分，过往依赖经验手动分配Token权重的方式，始终没法拿到最优训练效果。
来自人大高瓴的研究团队针对这些问题，提出了一种新的token credit assignment算法——DelTA。 ** DelTA不依赖经验或直觉，而是通过求解优化问题，为强化学习目标中的每一个token计算最优权重。 **
实验显示，DelTA适用于几乎所有主流强化方法，能够适配当前主流强化框架，并在数学推理、代码生成、知识问答等10余个任务上，为不同尺寸、不同类别的base模型带来显著提升。
看似复杂的强化学习原来是个线性判别器¶
为了理解强化学习的底层机制，研究团队对 进行了分析，其中x是待生成token，而c则代表已生成的上下文：
上面的公式是对 进行一阶泰勒近似得到的。通过这个公式，研究团队发现：强化学习对token概率的更新由两个因素决定：
- 生成模型的对数梯度 _ （后简称token梯度） _ ；
- 模型参数的变化 。
进一步看模型的参数变化 ，以DAPO为例，它的优化目标是这样的：
那么 就可以表示成：
把这个公式整理一下，定义 以及 ，得到
那么，token概率的更新可以表示成
上面的公式揭示了强化学习的工作原理：
- 在优化中，强化学习会隐式地将token分成两堆，一堆对应正advantage，另一堆对应负advantage，两堆点的质心分别由 和 给出。
- token的更新机制，实际上是拿token梯度和这两个质心做对比，如果和正质心更接近，那么就提高生成概率；如果和负质心更接近，那么就降低生成概率。大模型强化学习的优化目标虽看似复杂，但实际上做了个线性分类的工作。
虽然主要以DAPO为讨论对象，但实际上所有结论都可