Harness Engineering

摘要

Harness Engineering 研究如何设计围绕基础模型的执行系统，使模型能够规划、调用工具、管理上下文与状态、检查结果并持续迭代。它比提示词工程更接近运行时与软件系统设计。（来源：Harness Engineering for Self-Improvement）

核心内容

定义

Harness 是基础模型与现实任务环境之间的编排层，涵盖工作流、工具接口、记忆与上下文、权限、评估和持久状态。（来源：Harness Engineering for Self-Improvement）

关键要点

• 把任务组织成可观察、可测试、可恢复的循环，而不是依赖一次性生成。（来源：Harness Engineering for Self-Improvement）
• 把长时状态和产物外置到文件系统，降低上下文膨胀与中断丢失。（来源：Harness Engineering for Self-Improvement）
• 让并行任务、权限边界、验证结果和失败记录显式可检查。（来源：Harness Engineering for Self-Improvement）
• 将智能体执行表示成可观察、可分叉和可回退的轨迹，可以让监督与优化层直接操作运行状态，而不必从日志和最终快照重建过程；但文件系统可逆、需补偿 handler 的副作用与不可逆外部动作必须分层处理。（来源：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces，§3）
• 可移植插件规范可以把技能与 MCP server 配置从特定客户端格式中分离出来，为 harness 的工具和扩展层建立最低互操作基础。（来源：Agent Plugins）
• HarnessOpt-Bench 将 harness 工程进一步作为可测能力：在固定目标模型、环境、验证器和预算下，让优化器修改 harness，并用不可见测试集评估泛化增益。（来源：HarnessOpt-Bench: Evaluating LLMs at Harness Optimization）
• Agentic ESOpt 展示了相邻但不同的路径：用环境回报更新模型参数以适配长程 Agent；其 Trace2Skill 组合尚未形成持久 harness 自编辑或模型-harness 交替联合优化。（来源：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements）
• 同一可见失败可能来自 harness 丢失信息，也可能来自模型忽略仍可见的信息；可靠修复需要先定位交互边和责任侧，不能把所有失败都归给模型或 harness。（来源：Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures）
• FACET 提供了一个可执行任务构建的具体模式：先物化并修复环境，再让 instruction、solution 与 verifier 读取同一 realized state，并把执行 trace 路由到具体 artifact 做有限修复。它把“共享事实状态”和“可定位验证”落实为 pipeline 组件，但仍不是持久 harness 自进化。（来源：FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis，§2.3-2.4）
• HarnessLens 将失败轨迹、可编辑 harness 组件和行为感知验证连成闭环，在固定模型与运行框架下把验证预算用在最相关的行为簇上。（来源：Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification）
• PILOT 表明 harness 还可以是运行中的 supervisor-worker 控制层：它把 live steer/abort/redirect 与跨运行的 skill、memory 持久化结合起来。（来源：PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents）
• Astar 则把 harness 放进工业系统演化闭环：模型提出方向，代码 Agent 执行，训练/部署结果返回下一轮；这同时提示 harness 工程与 Agentic RL 的边界必须按实际更新对象区分。（来源：Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems）
• Meta-Harness 证明完整 harness 代码可以成为端到端搜索对象：外部 coding-agent proposer 选择性检查全量历史，并在固定目标模型下重写上下文、检索或 Agent 控制逻辑。（来源：Meta-Harness: End-to-End Optimization of Model Harnesses，pp.2-5）
• Self-Harness 将 proposer 换成目标模型自身，并用 verifier-grounded weakness mining 与双 split non-regression gate 约束修改；这提高了模型专用性，但所谓 held-out split 参与 promotion，不能等同于最终未触碰测试集。（来源：Self-Harness: Harnesses That Improve Themselves，pp.6-11）
• Agentic Harness Engineering 把 system prompt、tools、middleware、skills、sub-agents 与 long-term memory 暴露为文件级组件，再把轨迹证据和 edit prediction 写入可证伪 manifest；组件可观察不等于副作用可预测，其回归预测 precision/recall 仅为 11.8%/11.1%。（来源：Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses，pp.3-9）
• EurekAgent 把环境本身拆成权限、产物、预算和人在回路四个工程面：隐藏 grader、同轮隔离和控制器所有的分数文件属于强制边界，Git/文件状态与预算接口则支持跨会话研究。（来源：EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery）
• Argus 面向起初没有可靠单一指标的长程任务，以角色权限和验证门允许证据支持的目标修订；这补充了指标驱动 keep/reject 之外的 harness 形态。（来源：Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks）
• 历史开源项目显示 harness 已形成多个可组合层：Codex、DeepSeek Harness、Hermes Agent 和 Prime Agent 承担通用执行与状态管理，AutoSaddler 自动修改 harness，BrowserSkill 与 OpenCLI 接入真实浏览器，Speculative Programmatic Tool Calling 优化工具等待路径。它们的更新对象不同，不能都概括成“Agent 自我改进”。（综合：历史会话中的 Agent 工程开源项目回溯）
• Exo 展示了另一种分层：可信 Exoharness 保存事件、Secret、Artifact 与 Sandbox，Executor 决定 Prompt、模型和工具；Codex 等原生 coding agent 通过 TypeScript preset 接到同一底座。这里的可替换性来自持久状态与执行策略解耦，不等于不同 Executor 对历史具有相同语义。（来源：ExoHarness 架构、—harness 实现与 Prime Agent 对比调研）
• Harness Evolution Ceiling Study 把 harness intervention 与 weight intervention 放进同一交叉实验：process failure 先由外部 harness 修改处理，content failure 再由轨迹 SFT 处理；WebArena-Lite 中“多看一页完整历史”的收益不能被 adapter 内化。（来源：Harness Evolution Hits a Ceiling: When Weight Training Should Begin）
• One Skill Too Many 说明 harness 组件不是彼此独立：相似 skill 共存会让目标 skill 的使用率下降 19.9 个百分点，task completion 却没有显著下降，因此组合评测必须检查独有核心功能与实际 routing。（来源：One Skill Too Many: How Co-Installed Skills Conflict in Coding Agents）
• Skill Constellations 把复制式 skill 分发暴露成未声明依赖：只有 11.1% 的 clone-group 变更被所有副本一致采用，说明版本、来源、跨平台兼容与安全更新必须成为 harness 工程的一等对象。（来源：Skill Constellations: Tracing the Supply Chain of Agent Skills on GitHub）
• AtMem Learned Memory Formation 给出一个保守的 learned-control 部署范式：先把记忆写入决策放在 shadow/replay 中，以 deterministic rule 作为受保护基线；当类别覆盖、validator 与 latency 不满足 gate 时保持旧路径，而不是用离线 agreement 强行上线。（来源：Negative Learned Memory Formation: Not Worth Deploying Just for Offline Gain in AtMem）
• DeepGym 的 settled-write verdict 与 itda CLI 的 single-use digest approval 展示两种副作用约束：前者要求 runner 在结束前清账，后者要求执行前把授权绑定到精确请求。它们是 runtime contract，不是严格 Agentic RL 或 RSI。（来源：2026-10-19 CUA 开源项目审计）
• Vigil、SolveBind 与 Tandem 分别把 guard admission、pending-action evidence 和 Observation/Action/Receipt 做成 harness contract；DSH Desktop Agent Bridge 又把 session ownership、takeover 与 unknown outcome 作为一等状态。它们改善执行可审计性，但没有更新模型 policy。（来源：2026-10-20 CUA 开源项目审计）
• Meta2 把离线优化对象从共享 harness 改为“何时 act/avoid/hold”的 Meta-Skill，在线只对当前 run 应用有界 edit；跨任务保留具体 edit 会回退，说明可复用知识与任务局部修改应分开。（来源：Meta2: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents）
• SIConnect、Root Driver、HyzeVM、Layershot 与 Private Agent Desktop 展示 CUA harness 的权限与隔离不是单一开关：on-device policy、同用户 OS driver、VM、background UIA 与独立 compositor 的信任边界不同。（来源：2026-10-21 CUA 开源项目审计）
• 2026-10-22 的更新把 harness contract 扩展到协作、数据和 secret：BrowserSkill 管人机控制权与 unknown side effect，Agent TraceCheck 管 trajectory schema/reward/mask，Agent-Sandbox 管日志 redaction；这些都是模型外可靠性，不是 policy update。（来源：2026-10-22 CUA 开源项目审计）
• Nenya 的 Evidence-Gated Recursion 把修改提案、硬证据 gate、retention 和跨代 reuse 组成持久 harness 演化；cross-model memory 早期低于 bare 的结果说明 retention 还必须配 harmful-transfer 检查。（来源：AI-Run Research on Nenya Discovers the Headroom Law, Recursively Improves Its Own Harnesses, and Sets 325 Mathematical Records）
• 2026-10-23 CUA 更新进一步把 failure recovery、capture lifecycle、approval revision、下载校验和真机授权变成 runtime contract；它们增强执行基础设施，但没有 policy update。（来源：2026-10-23 CUA Project Audit）

适用范围与边界

保持 harness 不变、训练模型适配它，是与修改 harness 不同的优化对象。Multi-Harness RL 依靠模型端捕获，不把 retries、compaction 和 sub-agent 轨迹假定为一条线性对话；OpenEnv 的训练契约与 Harbor 的环境判分仍需分别验证。（来源：The ultimate guide to multi-harness RL）

适用于编码智能体、自动研究、数据生成等需要长时执行与工具协作的系统。Harness 能放大模型能力，但不能替代基础模型本身的推理能力；较弱模型未必能正确利用更复杂的 harness。（来源：Harness Engineering for Self-Improvement）

分歧与演变

近期设计趋势从手工提示技巧转向通用机制和元方法，但哪些 harness 能力最终会内化为模型能力仍无定论。（来源：Harness Engineering for Self-Improvement）

相关页面

• 上位概念：LLM Agent Self-Improvement
• 相关概念：Context Engineering、Self-Improving Harness、Recursive Self-Improvement、Agentic RL、Meta-Agent、Reversible Agentic Execution Trace、Agent Plugin、Harness Optimization、Agent Failure Localization、Autoresearch
• 相关实体：Lilian Weng、Shepherd、Agent Plugins、HarnessOpt-Bench、Agentic ESOpt、Interaction-Centric Agent Failure Taxonomy、Meta-Harness、Self-Harness、Agentic Harness Engineering、EurekAgent、Argus、Exo、Harness Evolution Ceiling Study、One Skill Too Many、Skill Constellations、AtMem Learned Memory Formation、Nenya、DeepGym、itda CLI、Codex、DeepSeek Harness、Hermes Agent、Prime Agent、AutoSaddler、OpenCLI、BrowserSkill、Speculative Programmatic Tool Calling
• 相关主题：LLM Agent Self-Improvement、Agent Harness 与 Agentic RL 开源生态
• 环境与训练接口：Agent RL Environment、Multi-Harness RL、OpenEnv、Harbor

来源

• AI-Run Research on Nenya Discovers the Headroom Law, Recursively Improves Its Own Harnesses, and Sets 325 Mathematical Records

• 2026-10-23 CUA Project Audit

• Harness Engineering for Self-Improvement

• Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces

• Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces

• Agent Plugins

• HarnessOpt-Bench: Evaluating LLMs at Harness Optimization

• Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures

• Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements

• FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

• Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification

• PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents

• Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems

• Meta-Harness: End-to-End Optimization of Model Harnesses

• Self-Harness: Harnesses That Improve Themselves

• Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses

• EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery

• Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks

• 历史会话中的 Agent 工程开源项目回溯

• ExoHarness 架构、—harness 实现与 Prime Agent 对比调研

• The ultimate guide to multi-harness RL

• Harness Evolution Hits a Ceiling: When Weight Training Should Begin

• One Skill Too Many: How Co-Installed Skills Conflict in Coding Agents

• Skill Constellations: Tracing the Supply Chain of Agent Skills on GitHub

• Negative Learned Memory Formation: Not Worth Deploying Just for Offline Gain in AtMem

• 2026-10-19 CUA 开源项目审计

• 2026-10-20 CUA 开源项目审计

• Meta2: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents

• 2026-10-21 CUA 开源项目审计

• 2026-10-22 CUA 开源项目审计

待核实问题

• harness 兼容性、训练捕获正确性与行为改善不能由同一项检查替代。（来源：The ultimate guide to multi-harness RL）

• Harness 的行业标准边界与通用组件集合仍在演变，待更多来源交叉验证。