摘要
FlashREINFORCE 是 NVIDIA 提出的 critic-free 单 rollout 异步 Agent RL 方法，通过批次均值 advantage、序列漂移 gate 与 sample-mean loss，在不等待 sibling rollouts 的情况下控制 stale trajectory 和长失败轨迹带来的不稳定。（来源：FlashREINFORCE: Critic-Free Single-Rollout Asynchronous RL for Agentic Language Models）
核心内容
基本信息
- 实体类别：Agentic RL 算法与训练配置
- 关键名称或版本：FlashREINFORCE v2；alphaXiv ID
2609.flashreinforce-asynchronous-rl-agentic-models - 时间范围：alphaXiv 标注首次发布于 2026-09-14
重要事实
- 方法对每个 prompt 只采样一条 trajectory，以 batch-centered terminal reward 做 advantage，并用一次性异步更新覆盖更多 prompts。（来源：FlashREINFORCE: Critic-Free Single-Rollout Asynchronous RL for Agentic Language Models，pp.1-6）
- 论文在数学、Python tool 与 ALFWorld 报告收益，NVIDIA-NeMo/labs-molt 已提供相应 estimator、gate、loss 与 quick-start；结果未独立复现。（来源：FlashREINFORCE: Critic-Free Single-Rollout Asynchronous RL for Agentic Language Models）
关系与影响
它是 Agentic RL 中异步 rollout、off-policy correction 与训练稳定性的直接工程案例；对 Browser and Computer-Use Agents 有潜在迁移价值，但尚无 OSWorld 或真实 GUI 证据。（综合：FlashREINFORCE: Critic-Free Single-Rollout Asynchronous RL for Agentic Language Models）
分歧与变化
论文标题中的 “Agentic” 覆盖 reasoning、tool use 与 ALFWorld，并不等同于已验证 computer-use。当前应归入 CUA 相关训练基础设施，而非 CUA 方法进展。（综合：FlashREINFORCE: Critic-Free Single-Rollout Asynchronous RL for Agentic Language Models）
相关页面
- 概念：Agentic RL、Computer-Use Agent
- 实体：Cua、RLinf、prime-rl
- 主题：Browser and Computer-Use Agents、Agent Harness 与 Agentic RL 开源生态
来源
- FlashREINFORCE: Critic-Free Single-Rollout Asynchronous RL for Agentic Language Models
- https://github.com/NVIDIA-NeMo/labs-molt
待核实问题
- 需要独立复现及 CUA 环境验证；传统数字 arXiv ID与同行评审状态待核实。