摘要
WMRL 用冻结的同骨干 LLM 预测研究代码的执行结果，只让少量 anchor 组进入真实 sandbox，再通过在线去偏与逆方差融合校准 GRPO 奖励。它直接针对 autoresearch RL 中“生成能批处理、实验执行却线性占用 GPU”的瓶颈，是严格 Agentic RL，但不是 harness 自进化。（来源：原始论文记录（本地存档），pp.1-10）
核心内容
- 每步 8 组、每组 8 条轨迹；真实执行最多 1,200 秒，至少一组真实执行用于校准，world model 本身不训练，只有 research agent 参数通过 GRPO 更新。（来源：原始论文记录（本地存档），pp.8, 27-28）
- 4B/9B WMRL 分别使用 286/349 GPU-hours，对比真实环境 GRPO 的 883/1,174；在 MLE-Dojo test 与 DSBench 平均分上均高于同规模真实环境 GRPO。（来源：原始论文记录（本地存档），p.9）
- 纯 world-model reward 低于真实执行；去偏和去噪缺一不可。这是关键负证据：便宜代理评分不能直接替代真实实验，必须保留独立 anchor。（来源：原始论文记录（本地存档），pp.9-10）
- 当前校准只处理可建模的偏差与方差，不能保证抵抗依赖代码结构、任务类别或新策略分布的系统性 reward hacking。
相关页面
- 概念：Autoresearch、World Model RL、Agentic RL、Execution-Based Agent Evaluation
- 实体：无
- 主题：LLM Agent Self-Improvement
来源
- 原始文件：原始资料（本地存档）
- arXiv：https://arxiv.org/abs/2608.12564
- alphaXiv：https://www.alphaxiv.org/abs/2608.12564
- 定位信息：pp.1-3, 8-11, 26-28
待核实问题
- 截至 2026-09-03 未确认官方代码、checkpoint、训练日志与许可证；作者结果尚不能独立复现。
- 需要针对策略主动寻找 world-model 盲点的对抗实验，以及随策略漂移变化的条件校准结果。