摘要
AutoSaddler 是 Microsoft 的自动 harness 优化系统,从失败执行轨迹诊断根因,修改 prompt、tool、middleware 或 agent-loop code,再用评估与选择门保留候选。
核心内容
基本信息
- 实体类别:自动 harness optimizer。
- 关键名称或版本:V2;MIT;尚无 GitHub Release。
- 时间范围:2026-05-11 创建;2026-08-25 首次公开并完成当前主要推送;2026-09-03 核实。
重要事实
- 核实时为 166 stars;当前浅克隆约 167 个文件、30 个测试文件和 1 个 workflow。(来源:历史会话中的 Agent 工程开源项目回溯)
- V2 scenario 显式分开 immutable source、dataset、evaluator、evidence 与 mutable harness surface;
events.jsonl是恢复和审计的权威记录。(来源:历史会话中的 Agent 工程开源项目回溯) - 支持输入核验后的恢复与 checkpoint 分叉;历史会话核实了 Meta-ARE 支持。当前最新 workflow 有失败,而此前同批 CI 成功。(来源:历史会话中的 Agent 工程开源项目回溯)
关系与影响
AutoSaddler 与 Meta-Harness、Self-Harness、HarnessLens 都把 harness 当作可编辑对象,但它更强调可持久工程 artifacts 和具体集成插件。
分歧与变化
README benchmark 与 GAIA2 smoke 是项目报告;开发集上的候选选择不自动证明隐藏测试泛化,更不等于 RSI ignition。
相关页面
- 概念:Harness Optimization、Self-Improving Harness、Harness Engineering
- 实体:Meta-Harness、Self-Harness、HarnessLens、Prime Agent
- 主题:Agent Harness 与 Agentic RL 开源生态、LLM Agent Self-Improvement
来源
待核实问题
- 需在公开 held-out 任务和固定预算上复现 V2 的泛化收益与恢复一致性。