摘要
论文用 placebo-controlled RL trial 检验 zero-data self-play 的增益究竟来自格式 reward 还是执行正确性 reward。固定 Qwen2.5-Coder-3B、100-step task stream 和 REINFORCE++ optimizer 后，格式 reward 只学会标签且没有可检测的 S6 增益，executor correctness reward 则在两个 seeds 上取得约 5 points 增益。（来源：原始资料（本地存档））
核心内容
- Placebo、correctness seed 1 和 correctness seed 2 共享固定 100-step schedule；每步三类 coding tasks 各 64 个样本，优化为 REINFORCE++ + PPO clipping、无 KL。（来源：原始资料（本地存档），§2）
- S6 上 placebo 相对 base 为 -1.86 points，两个 correctness runs 为 +5.65 和 +5.14；两 seed 均值 +5.39，约为 released Absolute Zero gain 的 72%。（来源：原始资料（本地存档），Table 2）
- 这是严格 Agentic RL，因为 executor-verified interaction trajectories 通过 RL objective 更新 policy；但它没有执行跨代 harness/model/environment 共进化，因此不构成严格 Recursive Self-Improvement。（来源：原始资料（本地存档））
- 对 CUA 的可迁移方法是 reward placebo audit，而不是直接 CUA 结果；GUI evaluator 仍需在截图、动作和真实 world-state 上另做实验。（综合：原始资料（本地存档））
相关页面
- 概念：Agentic RL、Execution-Based Agent Evaluation
- 实体：Reward Placebo Trial
- 主题：Agent Harness 与 Agentic RL 开源生态
来源
- 原始文件：原始资料（本地存档）
- 定位信息：正文 §2-5、Figure 1-4、Table 1-4。
待核实问题
- 传统数字 arXiv ID、同行评审状态和正式出版记录待核实。
- 尚缺更多模型、独立 task streams、placebo seeds 和 CUA/GUI 环境复现。