摘要
这篇官方研究文章把真实 coding harness 保持为执行循环的拥有者，通过模型接口捕获把轨迹接入训练。环境、执行与参数更新分别由 OpenEnv、Harbor 和 TRL 衔接；研究对象是模型适配多个 harness，而不是 harness 自动改写或严格 RSI。（来源：原始资料（本地存档），Introduction / How the framework works）
核心内容
机制与训练契约
- Agent RL Environment 管理状态、反馈和判分；harness 决定上下文、工具调用与续跑。训练器不接管真实 Agent 的循环，而是读取模型端的采样证据。（来源：原始资料（本地存档），The basics）
TrainingTrace保留 engine token IDs、行为 logprob 与显式 loss mask，训练器不重新 tokenize 已生成文本；坏 capture 应报契约错误，传输或 verifier 失败则保持不可判分。采样配置在生成前传给 session factory。（辅助来源：TRL #6947，What does this PR do / Overview，2026-10-05 核实）- OpenEnv 根据后端探测区分 train/eval：托管 API 的可读轨迹不等于可训练轨迹。上下文改写使调用不总能拼成单一对话，需保留分支与采样证据。（辅助来源：OpenEnv Harbor 文档，What you get back / The intercept / Prerequisites，2026-10-05）
作者实验与限制
| 项目 | 原文报告与适用范围 |
|---|---|
| 设置 | LFM2.5-2.6B；1,000 个训练任务、250 个不重叠测试任务；四个 harness 为 OpenCode、Claude Code、Codex、Mini-SWE-Agent；每组八条同 task、同 harness 的 rollout |
| 最终准确率 | 基线 42.2%，多 harness 54.2%，OpenCode-only 52.3%；两种训练的 1.9 个百分点差距在噪声内 |
| 效率 | 多 harness 相对基线少 31% 工具调用，只统计二者均解出的 held-out 任务，不是全部任务成本 |
| 暴露不等 | 每设置仅一个 seed；实际独立任务 555/626，监督 token 12.5M/18.7M，处理 token 162M/451M |
| 训练开销 | 每设置两张 H100，单 harness 约 32 小时、多 harness 约 46 小时；不含评测、排队、重启，完整成本未报告 |
以上为作者报告，定位 Setup / Accuracy / Tool calls and tokens / How much each run saw，未独立复现。（来源：原始资料（本地存档））
综合：证据支持小模型在该任务族上经 RL 改进，以及四个已参与训练的 harness 中更广泛的效率改善；不能据此断言多 harness 总体显著优于单 harness、任意未见 harness 泛化成立，或适用于 GUI/CUA。（来源：原始资料（本地存档），Accuracy / Conclusions）
负结果不能省略
- 提交就得部分奖励的旧设计出现立即提交投机；后来的效率奖励必须先答对。LFM 没有无效率奖励的消融，不能单独确认该奖励的因果贡献。（来源：原始资料（本地存档），Picking the reward / What we rewarded）
- Qwen 早期曲线先升后降，涉及训练与评测输出预算不一致、未完成的工具循环和 resume 重复任务。多 harness SFT 也未稳定改善总准确率。SFT/RL 的数据、目标与算力不等量，不能形成一般性方法排名。（来源：原始资料（本地存档），SFT vs RL / Why the two Harbor runs declined）
版本分歧
2026-10-01 文章报告 10 个验证 harness 和 Harbor v0.22.0 的 26 个 backend；2026-10-05 读取的 OpenEnv main 文档报告 16 个验证 harness、23 个 backend。两者版本与统计对象不同，状态为“口径待对齐”，不静默替换。TRL PR 合并已核实，但文章所述“安装 main”的发布适用性仍需运行前复查。（来源：原始资料（本地存档）；OpenEnv main 文档；TRL 合并记录）
相关页面
- 概念：Agent RL Environment、Multi-Harness RL、Agentic RL、Harness Engineering
- 实体：OpenEnv、Harbor、Codex
- 主题：Agent Harness 与 Agentic RL 开源生态
来源
- 原始文件：原始资料（本地存档）、原始资料（本地存档）
- 原文入口；规范网页版
- 定位信息：The basics / How the framework works / Training small models across harnesses / Conclusions。文章日期 2026-10-01，访问日期 2026-10-05。
- 辅助核验：OpenEnv Harbor 文档、OpenEnv #1280、TRL #6947。
待核实问题
- 等 token、等任务、等算力、多 seed 下的对照；真正未参与训练的 harness 泛化；效率奖励消融。
- 训练/评测版本、后端统计口径及发布包兼容性；没有安装依赖或运行本地 rollout/GPU 复现。
- 捕获代理无法单独说明所有外部副作用与隐藏执行状态；真实 GUI、权限拒绝、压缩、恢复和子 Agent 的验证需另设环境与判分。