Agent做了十几步，奖励到底算给谁？ 今日论文分享｜AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning Agent 连续做了十几步，最后只拿到一次“成功 / 失败”，这份奖励到底该算给哪一步？ 清华团队提出 AgentOPSD：让同一个模型充当训练时自教师，把 token 概率差汇总成 turn 级贝叶斯证据，再递归追踪每一步让“最终成功的信念”改变了多少。 在 Qwen2.5-7B 的 ALFWorld 实验中，平均成功率从 GRPO 的 81.2% 提升到 89.1%；任务每增加一轮，性能损失仅 0.54 个百分点，GRPO 则是 2.91。 视频用真实公式、论文图表和消融实验讲清方法，也保留了额外 teacher forward、验证范围和完整代码尚未发布这些局限。 #今日论文分享 #AI论文 #强化学习 #AIAgent #大模型 #清华大学 #AgentOPSD

如果一个智能体连续操作十几步，最后只得到一次成功或失败，这个奖励到底该算给哪一步？常见的GRPO，不把同一个整段优势值广播给轨迹中的每一个token，结果是真正扭转局面的关键动作和只是照常执行的普通动作，收到的训练信号几乎一样。清华团队新提出的AgentTops想解决的正是长链智能体里的信用分配问题。不仅看最后是否成功，还要追踪每一步究竟让成功变得更可能，还是更不可能。它的关键视角很有意思，把每一轮动作看成关于最终成功的一条贝叶斯证据。理想情况下，我们想比较成功轨迹和失败轨迹里这个动作分别有多大概率，但这个分布无法直接获得。于是，作者让同一个模型扮演两种角色：普通学生只看当前状态，训练时的自教师还会额外看到一条检索到的技能提示，两者参数完全共享，不需要再训练一个critic。具体来说，对动作中的每个token计算自教师和学生的对数概率差。Δ等于带技能条件的log概率，减去普通条件的log概率，再把这一轮所有token的差距相加得到τₖ，它等价于这整个动作在自教师和学生下的似然比。如果τₖ为正，说明训练时的成功经验更支持这个动作。如果为负，它更像是在把轨迹推离成功，但只看这个分数还不够。同样一个正证据，在局面摇摆时可能非常关键，在已经胜券在握时，却可能只是重复确认。AgentTops先用同组采样的成功率初始化b₀，再用cₖ=γ×cₖ₋₁+eₖ递归累积证据。随后经过归一化和sigmoid，得到当前成功信念bₖ，真正分给这一轮的信用是Δbₖ，也就是它让成功信念改变了多少。旧证据会按γ衰减，所以长链里近期的新信息更有作用。接着，作者把Δbₖ和整段优势值的符号对齐：成功轨迹奖励提高成功信念的动作，失败轨迹则强调降低成功信念的动作。这个τ分数会在单条轨迹内标准化，再被裁剪成一个有界权重去缩放原来的GRPO优势，重点是它没有额外的蒸馏损失，也不会让局部信号推翻整段奖励的方向，只是把同一份信用更精确地分给不同轮次。实验覆盖OffWorld、WebShop等七个搜索问答数据集，模型是Qwen2.5的3B与7B，7B模型在OffWorld的平均成功率达到89.1%，而普通GRPO是81.2%。更值得看的是长链鲁棒性任务，每增加一轮，AgentTops只损失0.54个成功率百分点，GRPO损失2.91，RLSD损失3.59。它在全部八个汇总比较中都超过GRPO，并在其中六项超过强基线SDA²。但并非每一个单独指标都第一，消融实验也比较清楚完整：基线方法是89.1%，把τ级证据改成逐token更新，降到85.9%；只使用本轮原始eₖ不做递归信念更新，降到82.8%；只看重要性的绝对值，不区分它把成功概率推高还是拉低，只剩80.5%；去掉由组成功率提供的初始先验，则是78.9%。换句话说，提升并不止来自多算一次概率，而来自一套有方向、有历史状态的信用分配。好的好的，当然这篇论文还有几个边界：训练仍然多出一次自教师前向，技能提示只在训练阶段可用，也依赖检索质量。实验目前集中在三类环境，Qwen2.5 3B和7B，并采用二值终局奖励。官方仓库已经开放，但截至现在，完整训练代码和脚本仍标注为即将发布。所以，它更像一个证据充分、值得复现的新方向，而不是已经覆盖所有Agent场景的标准答案。最后，用一句话记住它：长链强化学习的关键，不是孤立判断每一步有多好，而是衡量这一步让最终成功的信念改变了多少。