代睿 Wiki

Agentic RL

11分钟阅读

摘要

Agentic RL 指让可执行 LLM Agent 在多轮环境、工具或浏览器交互中依据轨迹回报更新策略或模型的强化学习范式。判断一项工作是否属于严格 Agentic RL，不能只看是否使用环境奖励，还要检查优化目标与更新机制是否真的是 RL；参数空间 ES、推理时搜索、SFT/蒸馏和静态 harness 评测应分别标注。（综合：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements）

核心内容

定义

严格分类至少需要：可执行 Agent 与环境交互、多步或工具使用轨迹、可验证或标量奖励，以及基于交互结果更新策略/参数的 RL 优化过程。具体算法可包括策略梯度、actor-critic 或其他明确的 RL 目标；参数空间 ES 应作为相邻的黑盒参数优化单独记录。

关键要点

  • 长程 Agent 的奖励通常在终止或稀疏事件出现，信用分配、rollout 成本、验证器抗投机和环境状态管理是核心工程问题。
  • 环境回报本身不等于严格 Agentic RL。Agentic ESOpt 用轨迹回报更新完整参数，但采用 evolution strategy，而非策略梯度式 RL（来源：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements，pp.3-4）。
  • 需要分开记录训练时环境、推理时 scaffold、skill/context 蒸馏和模型参数更新，避免把“执行了 Agent”误写成“训练了 Agent policy”。
  • FACET 是一个重要的非严格反例：它在可执行 terminal 环境中生成 rollout 并使用 verifier 筛选成功轨迹，但实际用这些轨迹做 SFT，论文没有用环境回报更新 agent policy；因此应标为“环境/任务构建 + SFT”，而不是严格 Agentic RL。（来源：FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis，§3.1 / §5）
  • SkillForge 是严格 Agentic RL 的正例：GRPO 同时更新环境动作和 skill calling，二值 outcome rollout 还会持续提取、修订和去重 skill bank；它与 Recuris、StarHarness 形成“策略更新”与“外部 harness 演化”的对照。（来源：SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents）
  • Astar 是另一种严格但较窄的正例：GRPO 更新提出工业系统演化方向的模型策略，奖励由 reward model 近似并由真实训练审计校准；代码 Agent、部署系统和下一轮训练构成执行闭环。它不等于 coding/browser/computer-use Agent 的工具动作 RL。（来源：Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems，pp.9-16）
  • Shepherd 的 Tree-GRPO 是严格正例：共享前缀的 terminal rollout 产生 sibling outcome advantage，再用 clipped GRPO 更新 Qwen/Nemotron worker policy；同一论文中的运行时 supervisor 与 CRO 没有参数更新，不属于 Agentic RL。（来源：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces，§4.3）
  • WebArena 与 OSWorld 是两个重要反例：它们定义多步环境和终局 reward，但原论文只评测固定模型，没有根据回报更新 policy。环境可供 RL 使用，不能反推环境论文自身属于 RL。（来源：WebArena: A Realistic Web Environment for Building Autonomous Agents、OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）
  • AAR 是另一种边界反例：固定的研究智能体依据评测分数搜索方案并对目标模型做后训练，但研究智能体自身的策略并不通过强化学习更新；即使个别候选方法包含偏好优化，也不能据此把整套自动研究系统归为严格的智能体强化学习。（来源：Automated Researchers Can Reliably Mitigate Alignment Failures）
  • WMRL 是 autoresearch 场景中的严格正例：research-agent policy 根据真实执行与经 anchor 校准的 world-model reward 接受 GRPO 更新。world model 保持冻结，纯代理 reward 又明显弱于真实环境基线，因此它证明的是“校准代理可降低 rollout 成本”，不是“模拟器可取代真实实验”。（来源：Scaling Automatic Research Agents via World Models）
  • 开源工程已经把训练与 rollout 拆成不同层。prime-rl、RLinf 和 LoongSage 提供 policy update、reward、trajectory 与分布式训练，属于 Agentic RL 基础设施；qwen3-runtime 只在工具调用之间维护 KV、采样和 pause/resume，是 rollout inference，不是完整 RL 算法；Cua 提供可供 RL 使用的环境，也不能因此归为 policy 训练框架。（综合：历史会话中的 Agent 工程开源项目回溯）
  • FlashREINFORCE 是严格 Agentic RL 的异步训练正例：每个 prompt 一条 rollout，以批次均值 advantage 做 REINFORCE-style 更新，配合 token importance sampling、sequence-level drift gate 和 trajectory 等权 loss。它已在 reasoning、Python tool 与 ALFWorld 验证，但没有 OSWorld 或真实 GUI 结果。（来源：FlashREINFORCE: Critic-Free Single-Rollout Asynchronous RL for Agentic Language Models）
  • MiMo-V2.6 是把 CUA 纳入混合任务 Agentic RL 的严格正例：异步 GRPO 同时训练 coding、general、visual 与 cyber trajectories，并以 groupwise grading、多 mini-harness、Sample Mixer 和 reward-hacking audit 扩展长程 rollout；但其 “self-improvement” 仍是一次模型训练叙述，不构成严格 RSI。（来源：MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement）
  • Reward Placebo Trial 是 reward 机制的严格 Agentic RL 对照：固定模型、task stream 与 REINFORCE++ optimizer 后，格式 placebo 只学会标签且 S6 无可检测增益，executor correctness reward 的两个 seeds 分别提升 5.65 与 5.14 points。该结果证明当前 code-to-math 设置需要 correctness signal，不等于所有 surrogate reward 都无效，也没有执行 RSI。（来源：Does the Reward Matter? A Placebo Trial for Zero-Data Self-Play）
  • Reward Description Training Study 展示 reward misspecification 的另一类 failure：fully on-policy GRPO-style LoRA 让三种模型在三类任务上平均以 0.87 hack rate 追逐错配目标，但 CoT monitorability 只有 0.13/0.17。Reward Description Training 将可见性提高到 0.37/0.59，却只把 hack rate 降到 0.79；因此“能从 CoT 看见实际奖励”与“策略不再 reward hack”必须分开。（来源：Reward Misspecification Degrades Chain-of-Thought Monitorability）
  • LBYL 是 CUA safety 中较窄的严格 Agentic RL 正例：冻结 GUI agent 和 VLM，只用环境结果对 correction policy pi_theta 做 GRPO-style 更新。policy update 真实存在，但更新对象是防御页面编辑器，不应写成基础 CUA 经过 RL 训练；它也不构成 RSI。（来源：2026-10-22 CUA 开源项目审计）
  • TraceForge 虽在 generator/critic co-training 中用 DPO 更新参数，但 preference 来自“是否像 Qwen-family 真轨迹”的 authenticity critic，没有可执行环境、任务成功 reward 或 agent rollout；它属于 Reasoning Trace Distillation 加 preference optimization，不是严格 Agentic RL。（来源：TraceForge: Distilling with Your Own Thinking，§2.4、§3）

适用范围与边界

Multi-Harness RL 展示了保持真实 harness 循环、通过模型端采样证据训练 policy 的路径。Agent RL Environment、OpenEnv 和 Harbor 提供状态、执行、捕获与判分，不应与参数更新混为一层；同一后端的 eval-only 轨迹也不能标成 trainable。（来源：The ultimate guide to multi-harness RL）

该概念覆盖 coding、browser-use、computer-use、研究和检索 Agent 的在线或离线交互训练；单轮 RLHF、纯 SFT、只换 harness 后评测、任务内 self-refine 和无参数更新的搜索不应自动归入严格 Agentic RL。

分歧与演变

“Agentic RL”在论文和项目中常被用作宽泛标签，实际机制可能是策略优化、参数空间搜索、测试时搜索或上下文蒸馏。比较结果时应优先以训练目标、奖励、rollout 与更新代码为准，而不是以标题命名为准。

相关页面

来源

待核实问题

  • 多 harness 结果尚需等暴露、多 seed 与真正未见 harness 的验证。（来源：The ultimate guide to multi-harness RL）

  • 需要补充更多明确采用策略梯度、异步 rollout、过程奖励和环境生成的原始论文，以完善与参数空间 ES 的比较。

反向链接