Harness Engineering

摘要

Harness Engineering 研究如何设计围绕基础模型的执行系统，使模型能够规划、调用工具、管理上下文与状态、检查结果并持续迭代。它比提示词工程更接近运行时与软件系统设计。（来源：Harness Engineering for Self-Improvement）

核心内容

定义

Harness 是基础模型与现实任务环境之间的编排层，涵盖工作流、工具接口、记忆与上下文、权限、评估和持久状态。（来源：Harness Engineering for Self-Improvement）

关键要点

• 把任务组织成可观察、可测试、可恢复的循环，而不是依赖一次性生成。（来源：Harness Engineering for Self-Improvement）
• 把长时状态和产物外置到文件系统，降低上下文膨胀与中断丢失。（来源：Harness Engineering for Self-Improvement）
• 让并行任务、权限边界、验证结果和失败记录显式可检查。（来源：Harness Engineering for Self-Improvement）
• 将智能体执行表示成可观察、可分叉和可回退的轨迹，可以让监督与优化层直接操作运行状态，而不必从日志和最终快照重建过程；但文件系统可逆、需补偿 handler 的副作用与不可逆外部动作必须分层处理。（来源：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces，§3）
• 可移植插件规范可以把技能与 MCP server 配置从特定客户端格式中分离出来，为 harness 的工具和扩展层建立最低互操作基础。（来源：Agent Plugins）
• HarnessOpt-Bench 将 harness 工程进一步作为可测能力：在固定目标模型、环境、验证器和预算下，让优化器修改 harness，并用不可见测试集评估泛化增益。（来源：HarnessOpt-Bench: Evaluating LLMs at Harness Optimization）
• Agentic ESOpt 展示了相邻但不同的路径：用环境回报更新模型参数以适配长程 Agent；其 Trace2Skill 组合尚未形成持久 harness 自编辑或模型-harness 交替联合优化。（来源：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements）
• 同一可见失败可能来自 harness 丢失信息，也可能来自模型忽略仍可见的信息；可靠修复需要先定位交互边和责任侧，不能把所有失败都归给模型或 harness。（来源：Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures）
• FACET 提供了一个可执行任务构建的具体模式：先物化并修复环境，再让 instruction、solution 与 verifier 读取同一 realized state，并把执行 trace 路由到具体 artifact 做有限修复。它把“共享事实状态”和“可定位验证”落实为 pipeline 组件，但仍不是持久 harness 自进化。（来源：FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis，§2.3-2.4）
• HarnessLens 将失败轨迹、可编辑 harness 组件和行为感知验证连成闭环，在固定模型与运行框架下把验证预算用在最相关的行为簇上。（来源：Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification）
• PILOT 表明 harness 还可以是运行中的 supervisor-worker 控制层：它把 live steer/abort/redirect 与跨运行的 skill、memory 持久化结合起来。（来源：PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents）
• Astar 则把 harness 放进工业系统演化闭环：模型提出方向，代码 Agent 执行，训练/部署结果返回下一轮；这同时提示 harness 工程与 Agentic RL 的边界必须按实际更新对象区分。（来源：Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems）
• Meta-Harness 证明完整 harness 代码可以成为端到端搜索对象：外部 coding-agent proposer 选择性检查全量历史，并在固定目标模型下重写上下文、检索或 Agent 控制逻辑。（来源：Meta-Harness: End-to-End Optimization of Model Harnesses，pp.2-5）
• Self-Harness 将 proposer 换成目标模型自身，并用 verifier-grounded weakness mining 与双 split non-regression gate 约束修改；这提高了模型专用性，但所谓 held-out split 参与 promotion，不能等同于最终未触碰测试集。（来源：Self-Harness: Harnesses That Improve Themselves，pp.6-11）
• Agentic Harness Engineering 把 system prompt、tools、middleware、skills、sub-agents 与 long-term memory 暴露为文件级组件，再把轨迹证据和 edit prediction 写入可证伪 manifest；组件可观察不等于副作用可预测，其回归预测 precision/recall 仅为 11.8%/11.1%。（来源：Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses，pp.3-9）

适用范围与边界

适用于编码智能体、自动研究、数据生成等需要长时执行与工具协作的系统。Harness 能放大模型能力，但不能替代基础模型本身的推理能力；较弱模型未必能正确利用更复杂的 harness。（来源：Harness Engineering for Self-Improvement）

分歧与演变

近期设计趋势从手工提示技巧转向通用机制和元方法，但哪些 harness 能力最终会内化为模型能力仍无定论。（来源：Harness Engineering for Self-Improvement）

相关页面

• 上位概念：LLM Agent Self-Improvement
• 相关概念：Context Engineering、Self-Improving Harness、Recursive Self-Improvement、Agentic RL、Meta-Agent、Reversible Agentic Execution Trace、Agent Plugin、Harness Optimization、Agent Failure Localization
• 相关实体：Lilian Weng、Shepherd、Agent Plugins、HarnessOpt-Bench、Agentic ESOpt、Interaction-Centric Agent Failure Taxonomy、Meta-Harness、Self-Harness、Agentic Harness Engineering
• 相关主题：LLM Agent Self-Improvement

来源

• Harness Engineering for Self-Improvement
• Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces
• Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces
• Agent Plugins
• HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
• Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures
• Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements
• FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis
• Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification
• PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents
• Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems
• Meta-Harness: End-to-End Optimization of Model Harnesses
• Self-Harness: Harnesses That Improve Themselves
• Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses

待核实问题

• Harness 的行业标准边界与通用组件集合仍在演变，待更多来源交叉验证。