代睿 Wiki

Harness Engineering for Self-Improvement

6分钟阅读

摘要

Lilian Weng 将 harness 定义为围绕基础模型、负责组织执行的一整套系统：它决定模型如何思考与规划、如何调用工具和行动、如何管理上下文与持久状态，以及如何评估结果。文章把 harness 工程放在递归式自我改进的近中期路径中，系统梳理了设计模式、优化方法、自动演化研究与仍未解决的治理问题。（来源：原始网页记录（本地存档））

核心内容

设计模式

  • 工作流自动化：将智能体置于“规划、执行、观察或测试、改进、再执行”的目标循环中，并让失败轨迹成为下一轮迭代的输入。（来源：原始网页记录（本地存档），Harness Design Patterns / Pattern 1）
  • 文件系统作为持久记忆：长时任务不应把所有日志和中间产物塞进上下文，而应把实验记录、代码差异、摘要、错误轨迹等保存为可恢复的文件状态。（来源：原始网页记录（本地存档），Pattern 2）
  • 子智能体与后台任务：并行搜索、实验和隔离子任务应显式可观察；父智能体需要负责启动、监控、取消和合并结果。（来源：原始网页记录（本地存档），Pattern 3）

优化对象

  • Harness 的优化对象大致从提示词扩展到结构化上下文、工作流、harness 代码，再到优化器代码；这意味着改进目标逐渐从单次答案转向产生答案的机制。（来源：原始网页记录（本地存档），Harness Optimization）
  • 上下文工程把上下文视为持续维护的结构化资产，而不是无限增长的对话串；文章以 ACE、MCE 和 Meta-Harness 展示从内容维护到机制优化的递进。（来源：原始网页记录（本地存档），Context Engineering）
  • 工作流可由专家手工设计，也可编码成可搜索、可执行、可评估的候选方案；文章以 ADAS、AFlow、STOP、AlphaEvolve 和 DGM 等工作说明这一方向。（来源：原始网页记录（本地存档），Workflow Design / Self-Improving Harness / Evolutionary Search）

自我改进与控制边界

  • Self-Harness 采用“弱点挖掘、受限提案、回归验证”的 propose-evaluate-accept 循环，只接受在保留集和外部测试上均不退化的改动。（来源：原始网页记录（本地存档），Self-Improving Harness）
  • Agentic Harness Engineering 强调组件、经验和决策三类可观察性，并把每次编辑视为有证据、可证伪的预测。（来源：原始网页记录（本地存档），Self-Improving Harness）
  • 可编辑范围、评估器和权限控制应位于自我演化循环之外，以降低破坏抽象边界和奖励投机的风险。（来源：原始网页记录（本地存档），Self-Improving Harness / Future Challenges）

未来挑战

  • 文章归纳的核心瓶颈包括：评估器弱且模糊、上下文与记忆生命周期、负面结果保存、多样性坍缩、奖励投机、长期工程健康，以及人类应在何处介入。（来源：原始网页记录（本地存档），Future Challenges）
  • 作者认为，人类不应简单退出循环，而应提升到更合适的抽象层，在关键决策点提供监督和方向。（来源：原始网页记录（本地存档），Future Challenges）

相关页面

来源

待核实问题

反向链接

关系图谱