World Model RL

摘要

World Model RL 在这里特指用学习或提示得到的环境代理预测 Agent 候选方案的执行回报，再以少量真实执行信号校准偏差和方差，从而降低长程 Agentic RL 的 rollout 成本。（来源：Scaling Automatic Research Agents via World Models）

核心内容

定义

WMRL 将昂贵真实环境的 reward r 替换为可批处理的预测 reward，再保留真实 anchor stream 估计并修正代理信号误差。它优化的是 Agent policy，不等同于用 world model 做纯推理时规划。

关键要点

• 生成侧可批处理而环境执行侧往往独占 sandbox/GPU；world model 主要解决后一侧的线性成本。（来源：Scaling Automatic Research Agents via World Models，pp.1-3）
• 纯代理 reward 在作者实验中低于真实执行 GRPO，说明省略 anchor 会把策略推向代理模型的偏差。（来源：Scaling Automatic Research Agents via World Models，pp.9-10）
• 在线去偏只能校正观测到的分数关系，逆方差融合只处理随机波动；条件偏差、策略主动投机和分布外代码仍需真实执行与对抗验证。
• 在 autoresearch 场景中，world model 可以减少训练 rollout 成本，但不能替代研究结论所需的最终真实实验。

适用范围与边界

适合真实执行昂贵、回报格式稳定、可持续抽样真实 anchor 的 Agent 环境。对代理误差高度非平稳、不可获得真实 anchor 或单次失败代价很高的领域，纯 world-model 优化风险较大。

分歧与演变

论文把方法表述为严格 RL，并用 GRPO 更新 research agent；这与冻结模型、只按分数选择代码版本的 autoresearch loop 不同。比较时应分别记录 policy update 与研究代码 update。

相关页面

• 上位概念：Agentic RL
• 相关概念：Autoresearch、Execution-Based Agent Evaluation
• 相关实体：无
• 相关主题：LLM Agent Self-Improvement

来源

• Scaling Automatic Research Agents via World Models

待核实问题

• 需要公开代码和 checkpoint 后检验在线校准能否跟上策略分布漂移，并测量对抗性 reward hacking。