摘要
FlashREINFORCE 用单 prompt 单 rollout、批次均值 advantage、sequence-level drift gate 与 sample-mean loss，解决异步 Agent RL 中 group sampling 降低 prompt 覆盖、stale trajectory 不稳定和长失败轨迹权重过大的问题。它是严格 Agentic RL，但当前只在 reasoning、Python tool 与 ALFWorld 上验证；作者尚未在 OSWorld 等 CUA 环境评测。（来源：原始资料（本地存档），pp.1-13）
核心内容
- One-Batch REINFORCE 对独立 prompts 的 terminal rewards 做批次中心化，使每个 prompt 只需一条 rollout 仍能获得带正负号的 advantage；每批只更新一次，不做 replay。（来源：原始资料（本地存档），pp.2-6）
- Sequence Trust Region 保存真实 behavior probability，以 token importance ratio 校正动作分布，并用 sampled-action Bernoulli KL 的序列均值拒绝漂移过大的整条轨迹。（来源：原始资料（本地存档），pp.2-6）
- Sample-Mean Optimization 让每条 trajectory 等权，避免长失败轨迹在 token-mean loss 中获得额外负权重。（来源：原始资料（本地存档），pp.2、6、10）
- 作者报告：1.5B reasoning 五任务 mean 为 38.0，对比 GRPO 36.3 且 rollout 数为一半；30B MoE Python-tool mean 为 67.1，对比 GRPO 60.3；ALFWorld seen/unseen 为 98.3%/96.5%。（来源：原始资料（本地存档），pp.7-9）
- NVIDIA-NeMo/labs-molt 已加入 estimator、divergence gate、sample-mean loss、quick-start 与单测；但完整示例要求 CUDA 13 和单节点 8 GPU，本知识库未独立训练。（来源：原始资料（本地存档））
- 分类综合：属于严格 Agentic RL，不构成严格 RSI。对 Browser and Computer-Use Agents 的价值是异步 rollout 与训练稳定性基础设施，而不是已证实的 GUI grounding、动作或恢复能力。
相关页面
来源
- 原始文件：原始资料（本地存档）
- alphaXiv：https://www.alphaxiv.org/abs/2609.flashreinforce-asynchronous-rl-agentic-models
- 代码：https://github.com/NVIDIA-NeMo/labs-molt
- 定位信息：方法 pp.1-6；主结果 pp.7-9；消融 pp.10-11、20-21；限制 pp.12-13；训练配置 pp.17、19、21。
待核实问题
- 传统数字 arXiv ID、同行评审状态和最终出版记录待核实。
- 论文 benchmark 与 GPU 训练尚待独立复现。
- 需要在 OSWorld、BrowserGym 或其他 CUA 环境验证不同 trajectory 长度、稀疏终局 reward、环境漂移和 human takeover 下的稳定性。