摘要
Reward Placebo Trial 是 Hanyu Yang 对 zero-data self-play 的执行正确性 reward 所做的 placebo-controlled Agentic RL 实验。（来源：Does the Reward Matter? A Placebo Trial for Zero-Data Self-Play）
核心内容
基本信息
- 实体类别：Agentic RL reward mechanism study。
- 关键名称或版本：Qwen2.5-Coder-3B、REINFORCE++、Absolute Zero fixed task stream。
- 时间范围：2026-10-14 首次发布。
重要事实
- 格式 placebo 在 15 steps 内学会标签，但 S6 相对 base 为 -1.86 points；执行 correctness reward 的两个 seeds 分别为 +5.65 和 +5.14。（来源：Does the Reward Matter? A Placebo Trial for Zero-Data Self-Play）
- 两个 correctness seeds 平均恢复 released Absolute Zero 增益约 72%，但只覆盖一个 3B model、100 steps 和共享 task stream。（来源：Does the Reward Matter? A Placebo Trial for Zero-Data Self-Play）
关系与影响
它为 Execution-Based Agent Evaluation 和 CUA reward 研究提供对照设计：必须把格式/长度等 surrogate signal 与真实 environment outcome 分开。
分歧与变化
本实验与数学域内 format-only reward 可恢复大部分 gain 的既有结果不同；论文只把差异限定在 code-to-math、当前 reward predicate 和 Qwen2.5-Coder-3B，不主张普遍否定 surrogate reward。（来源：Does the Reward Matter? A Placebo Trial for Zero-Data Self-Play）
相关页面
- 概念：Agentic RL、Execution-Based Agent Evaluation、Recursive Self-Improvement
- 实体：无
- 主题：Agent Harness 与 Agentic RL 开源生态
来源
待核实问题
- 需在 GUI/CUA environment 上用真实 state verifier 重复同类 placebo trial。