摘要
Multi-Harness RL 让同一模型在多种 harness 的交互轨迹上接受强化学习。训练中变化的是执行接口与上下文组织方式,更新对象仍是模型 policy;不等于自动优化 harness 代码。(来源:The ultimate guide to multi-harness RL)
核心内容
定义
“Harness-native”描述训练时保留真实 harness 的循环,而“multi-harness”描述训练混合了多种 harness;二者相关但不是同义词,原生单 harness 训练也可以存在。(综合:The ultimate guide to multi-harness RL,机制 / 实验设置)
关键要点
- 接口捕获层将不同模型 API 方言适配为可训练信号,而不是重写每个 harness 的 tools、重试和上下文逻辑。训练可信度取决于精确采样证据与 mask 契约。(来源:The ultimate guide to multi-harness RL,机制与训练契约)
- 文中一个 GRPO group 的八条 rollout 使用同一 task 和同一 harness,避免组内 advantage 直接混入不同 harness 的难度差异。(来源:The ultimate guide to multi-harness RL,Setup)
- 均匀分配 rollout 数量不等于均匀训练暴露。上下文重写与分支会改变训练行数、监督 token 和总计算量,比较时必须分别报告。(来源:The ultimate guide to multi-harness RL,How much each run saw)
适用范围与边界
文章支持已参与训练的四个 harness 中更分散的能力与效率改善,但总准确率的单/多 harness 差距仍在噪声内。不能把“训练时覆盖多个 harness”称为“任意未见 harness 泛化已证明”,也不能将作者 coding 结果外推至 CUA。(来源:The ultimate guide to multi-harness RL,实验与限制)
分歧与演变
原文保留 token-faithful 与从请求/响应重建样本的不同路线,未将争论写成已解决。更强对照应固定任务、模型、token 与算力预算,并保留独立未见 harness 测试;这是综合建议,不是已完成实验。(来源:The ultimate guide to multi-harness RL,Why rewards are not enough / 待核实问题)
相关页面
- 上位概念:Agentic RL
- 相关概念:Agent RL Environment、Harness Engineering、Harness Optimization、Self-Improving Harness
- 相关实体:OpenEnv、Harbor、Codex
- 相关主题:Agent Harness 与 Agentic RL 开源生态
来源
待核实问题
- 未见 harness 的迁移、多 seed 等暴露对照、分支信用分配和长期训练稳定性。