摘要

Multi-Harness RL 让同一模型在多种 harness 的交互轨迹上接受强化学习。训练中变化的是执行接口与上下文组织方式,更新对象仍是模型 policy;不等于自动优化 harness 代码。(来源:The ultimate guide to multi-harness RL)

核心内容

定义

“Harness-native”描述训练时保留真实 harness 的循环,而“multi-harness”描述训练混合了多种 harness;二者相关但不是同义词,原生单 harness 训练也可以存在。(综合:The ultimate guide to multi-harness RL,机制 / 实验设置)

关键要点

  • 接口捕获层将不同模型 API 方言适配为可训练信号,而不是重写每个 harness 的 tools、重试和上下文逻辑。训练可信度取决于精确采样证据与 mask 契约。(来源:The ultimate guide to multi-harness RL,机制与训练契约)
  • 文中一个 GRPO group 的八条 rollout 使用同一 task 和同一 harness,避免组内 advantage 直接混入不同 harness 的难度差异。(来源:The ultimate guide to multi-harness RL,Setup)
  • 均匀分配 rollout 数量不等于均匀训练暴露。上下文重写与分支会改变训练行数、监督 token 和总计算量,比较时必须分别报告。(来源:The ultimate guide to multi-harness RL,How much each run saw)

适用范围与边界

文章支持已参与训练的四个 harness 中更分散的能力与效率改善,但总准确率的单/多 harness 差距仍在噪声内。不能把“训练时覆盖多个 harness”称为“任意未见 harness 泛化已证明”,也不能将作者 coding 结果外推至 CUA。(来源:The ultimate guide to multi-harness RL,实验与限制)

分歧与演变

原文保留 token-faithful 与从请求/响应重建样本的不同路线,未将争论写成已解决。更强对照应固定任务、模型、token 与算力预算,并保留独立未见 harness 测试;这是综合建议,不是已完成实验。(来源:The ultimate guide to multi-harness RL,Why rewards are not enough / 待核实问题)

相关页面

来源

待核实问题

  • 未见 harness 的迁移、多 seed 等暴露对照、分支信用分配和长期训练稳定性。