LLM Agent Self-Improvement

摘要

LLM 智能体自我改进关注系统如何从执行轨迹、失败证据和评估结果中改进其上下文、工作流、工具编排、harness 代码，乃至模型参数。一篇综述来源给出整体研究脉络，Shepherd 论文则展示了以可逆轨迹支持运行时监督、反事实优化和训练分叉的具体基础设施；Agentic ESOpt 补充了低显存参数空间搜索这一相邻路径，但不构成严格 RSI。（来源：Harness Engineering for Self-Improvement、Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces、Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements）

核心内容

范围与问题

核心问题包括：改进哪个系统层、如何表示可编辑空间、怎样发现真实根因、用什么评估器决定接受改动，以及如何避免短期指标损害长期可靠性。（来源：Harness Engineering for Self-Improvement）

综合结论

• Harness 把模型能力转化为可执行系统能力，因此是近期自我改进的重要优化对象。（来源：Harness Engineering for Self-Improvement）
• 有效循环需要持久状态、可观察轨迹、受限编辑、独立验证和失败记录共同工作。（来源：Harness Engineering for Self-Improvement）
• 自动演化在评估快速且客观的领域更成熟，在开放研究和长期软件维护中仍受模糊目标约束。（来源：Harness Engineering for Self-Improvement）
• Meta2 说明跨任务复用的对象可以是编辑规则而非具体 edit：frozen Meta-Skill 指导单次 run，任务局部 edit 不进入下一任务；这减少污染，但也意味着部署本身不会继续改进 improver。（来源：Meta2: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents）
• Nenya 展示持久 harness 自进化的 evidence-gated 版本：accepted artifact 跨代复用，frozen-copy 与 held-out family 测试跟踪退化；cross-model memory 初期低于 bare 又说明自我改进必须保留负迁移证据。它不含模型权重更新。（来源：AI-Run Research on Nenya Discovers the Headroom Law, Recursively Improves Its Own Harnesses, and Sets 325 Mathematical Records）
• TraceForge 是需要和自我改进分开的训练边界：它把 teacher answer 重写成 student-family 风格的 reasoning trace，再用 SFT/DPO 更新 generator 与 student；没有部署后反馈、环境 reward 或 successor loop，所以属于 Reasoning Trace Distillation，不是 Agentic RL 或 RSI。（来源：TraceForge: Distilling with Your Own Thinking）
• Reversible Agentic Execution Trace 可把整次重跑缩小为对受影响后缀的重放，为局部干预、反事实验证和树形采样提供统一机制。（来源：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces，§3-4）
• HarnessOpt-Bench 提供了固定预算、held-out 测试和可信执行边界下的共同协议，使“模型能否可靠改进智能体”成为可测能力。（来源：HarnessOpt-Bench: Evaluating LLMs at Harness Optimization）
• Agent Failure Localization 将表面失败映射到交互边和责任组件，为选择模型训练、harness 修改、环境重构或 grader 修复提供依据。（来源：Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures）
• Recuris 与 StarHarness 给出持久 harness 自进化的两个具体形态：前者演化带 checker 的 memory-control layer，后者搜索工具、MCP、上下文和验证控制流；两者都依赖 held-out 或隐藏选择集而非单次可见分数。（来源：Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses、StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments）
• SkillForge 把 skill bank 放入 GRPO 回路，是当前条目中更接近模型-harness/环境共进化的例子；但它与其他 Agentic RL 方法一样仍应和“无参数更新的 harness RSI”分开计类，且不等于 improver 本身递归改进。（来源：SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents）
• 2026-08-27 的新增证据把边界拉得更清楚：HarnessLens 以行为感知验证节省 harness 搜索预算，PILOT 将 supervisor 的 live intervention 与持久 skill/memory 结合，而 Astar 用 GRPO 训练工业演化方向提案模型。（来源：Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification、PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents、Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems）
• 因而应把“持续 harness 自进化”和“严格 Agentic RL”分开报告：前两者冻结模型、接受外部状态更新；Astar 才在提案策略层更新模型，但目标是工业系统演化而非通用工具使用。（来源：上述三份来源摘要）
• Meta-Harness、Self-Harness 与 AHE 补全了“谁在改、看什么证据、怎样接受”三个轴：外部 proposer 读取全量历史、目标模型从自身失败提案、Evolve Agent 用分层证据和 manifest 管理组件编辑。三者都冻结模型权重，所以属于持久 harness 演化而非严格 Agentic RL；同时分别暴露同集 benchmark 优化、回归集参与选择和 regression blindness 风险。（综合：Meta-Harness: End-to-End Optimization of Model Harnesses、Self-Harness: Harnesses That Improve Themselves、Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses）
• Shepherd 的完整论文让三层边界可直接并列：runtime supervisor 只做任务内干预，CRO 持久修改 workflow，Tree-GRPO 更新 worker policy；三者共享 substrate，但没有构成彼此交替改进的完整 RSI 循环。（综合：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces）
• AAR 补充了“固定自动研究系统改进目标模型”的第四种边界：共享实验结果与隔离评估器支持高吞吐的后训练搜索，但研究智能体的策略、运行支架和改进器本身均不更新。它既不是严格的智能体强化学习，也不是持久的运行支架自进化；其长期价值主要在研究流程、验证隔离和奖励投机的失败证据。（综合：Automated Researchers Can Reliably Mitigate Alignment Failures）
• WikiSkill 补充了持久知识层这一设计轴：Raw 保留完整轨迹，Wiki 编译跨轮模式与失败提案，Skill 只承载执行时程序。作者报告持续 Wiki 使 Gemini-3.5-Flash 四基准平均分从 48.7% 升至 63.7%，但跨模型技能也会严重负迁移，且全部结果尚待独立复现。（来源：WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution，Table 2-3）
• 创造性评测提供了一项反例：固定模型在多轮搜索中可以持续产生比金牌人类解法更偏离既有方法的方案，但多数运行没有达到奖牌水平；面对高新颖、低收益方向，87.0% 的后继步骤选择继续细化，中位收益仍为 0。自我改进系统因而需要识别方向上限和恢复探索，不能只奖励“与历史不同”。（来源：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks，§5.3）
• 最近三个月的 autoresearch 资料把改进对象进一步拆开：EurekAgent 通过环境约束让固定模型持续改研究代码；WMRL 用真实/预测执行 reward 的 GRPO 更新 research-agent 参数；Argus 更新经审核的 runtime state；AIDE2 外层直接改写内层 harness。只有最后一种触及 improver/harness 自身，而它的 ignition test 仍为阴性。（综合：EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery、Scaling Automatic Research Agents via World Models、Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks、AIDE2: The First Evidence of Recursive Self-Improvement）
• AutoResearchEval 的 800 条轨迹补充了反向证据：92.1% 的失败命中属于事实落地、认知适应或科研诚信问题，82.5% 的分析出现“自知有错却不修”。因此自我改进不能只增加 review 文本，必须让反证触发回滚、补实验、改结论或停止。（来源：How Do Agents Fail on AutoResearch）
• 历史开源项目把“自我改进”落到不同工程对象：Hermes Agent 和 Prime Agent 更新持久 memory/skill/harness state，AutoSaddler 从执行轨迹修改 harness code，prime-rl、RLinf 与 LoongSage 才进入模型参数训练层。把这些项目放在同一榜单而不标更新对象，会混淆外部状态积累、harness 演化与严格 Agentic RL。（综合：历史会话中的 Agent 工程开源项目回溯）
• 2026-10-07 的两项相邻证据分别补强“怎样验”和“怎样搜”：Protected Baseline Review 要求不可写的 baseline 与明确 revert rule，KERNAUT 让固定 LLM 的开放提案必须通过受信 construction contract 和 held-out evaluation 才进入 archive。前者是综述，后者是 autoresearch；两者都不属于严格 Agentic RL，也没有证明 improver 自身递归增强。（综合：Why do improvement require a baseline: structured review of evaluation for 13 self-improving LLM systems、Kernel Autoresearch for Open-Ended Model Discovery）
• Harness Evolution Ceiling Study 把 process failure 与 content failure 分开，并实证比较 harness 修改与轨迹 SFT 的替代/叠加关系；它是受约束的 harness evolution，不是严格 Agentic RL 或权重级 RSI。（来源：Harness Evolution Hits a Ceiling: When Weight Training Should Begin）
• TRACE 则提醒改进循环先验证 reward 是否测到同一对象：不检查固定轨迹重评分和 repeat control，verifier 漂移与随机性都可能被误写成“系统改进”。（来源：TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation）

主要脉络

1. 从提示词优化扩展到 Context Engineering 与工作流设计。（来源：Harness Engineering for Self-Improvement）
2. 将 harness 编码为可搜索、可变异、可评估的程序空间。（来源：Harness Engineering for Self-Improvement）
3. 通过 Self-Improving Harness 的提案、评估和接受循环实现持续改进。（来源：Harness Engineering for Self-Improvement）
4. 探索 harness 与模型权重的联合优化，走向更完整的 Recursive Self-Improvement。（来源：Harness Engineering for Self-Improvement）
5. 通过 Meta-Agent 直接观察和操作执行轨迹，把监督与优化落实到运行时基础设施。（来源：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces）
6. 用 Harness Optimization 基准分离优化器模型、编码 harness 与目标任务协议的影响。（来源：HarnessOpt-Bench: Evaluating LLMs at Harness Optimization）
7. 在修改系统前定位最早未恢复失败和 fault side，避免把修复施加到错误组件。（来源：Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures）
8. 应把 Agentic RL、参数空间 ES、推理时搜索、Reasoning Trace Distillation 和持久 harness 演化分开标注；环境回报、“adversarial co-training”或“co-evolution”措辞不足以证明严格 RSI。（综合：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements、TraceForge: Distilling with Your Own Thinking）
9. 对自动 harness 演化同时记录 proposer 身份、可见证据、可编辑面、promotion data 和最终 test，避免把可审计流程误写成可靠泛化。（综合：Meta-Harness: End-to-End Optimization of Model Harnesses、Self-Harness: Harnesses That Improve Themselves、Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses）
10. 将 Autoresearch 的研究代码、模型权重、runtime state 和 improver/harness 更新分别记录；同样的“自动研究”标签不代表相同的学习或 RSI 层级。（综合：本页 autoresearch 来源）

分歧与适用边界

• 关于近期路径：作者预测 harness 工程比模型直接重写自身权重更可能成为近期 RSI 路径；这是预测而非已确认结论。（来源：Harness Engineering for Self-Improvement，2026-07-04）
• 关于自动化边界：自我改进需要开放编辑空间，但评估器、权限控制和关键人工复核又应置于循环之外，两者之间存在持续张力。（来源：Harness Engineering for Self-Improvement，适用于可自编辑系统）
• 关于实验成熟度：Shepherd 报告了多项基准改进，但项目仍是 early alpha；CRO 的 Stable25 报告集与优化集重叠，实验仓库也不是无摩擦复现包，不能直接等同于 held-out 泛化或生产收益。（来源：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces）
• 关于模型与 harness 的作用：HarnessOpt-Bench 报告优化器模型的平均影响大于编码 harness，但原生 harness 在个别模型和任务上仍可能有明显优势，因此不能简化为“模型决定一切”或“原生工具总是更好”。（来源：HarnessOpt-Bench: Evaluating LLMs at Harness Optimization，§5.1 / §5.4）

相关页面

• 概念：Harness Engineering、Context Engineering、Self-Improving Harness、Recursive Self-Improvement、Agentic RL、Reasoning Trace Distillation、Meta-Agent、Reversible Agentic Execution Trace、Harness Optimization、Agent Failure Localization、Agent Creativity Evaluation、Autoresearch、World Model RL
• 实体：Lilian Weng、Shepherd、HarnessOpt-Bench、Agentic ESOpt、Interaction-Centric Agent Failure Taxonomy、TraceForge、Recuris、SkillForge、StarHarness、HarnessLens、PILOT、Astar、Meta-Harness、Self-Harness、Agentic Harness Engineering、Automated Alignment Researcher、WikiSkill、EurekAgent、AIDE2、AutoResearchEval、Argus、Protected Baseline Review、KERNAUT、Harness Evolution Ceiling Study、TRACE、Codex、DeepSeek Harness、Hermes Agent、Prime Agent、AutoSaddler、prime-rl、RLinf、LoongSage、qwen3-runtime
• 相关主题：AI Agent Failure Analysis、Agent Harness 与 Agentic RL 开源生态
• 来源摘要：Harness Engineering for Self-Improvement、Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces、Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces、HarnessOpt-Bench: Evaluating LLMs at Harness Optimization、Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures、Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements
• 来源摘要：Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses、SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents、StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments
• 来源摘要：Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification、PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents、Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems
• 来源摘要：Meta-Harness: End-to-End Optimization of Model Harnesses、Self-Harness: Harnesses That Improve Themselves、Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses
• 来源摘要：Automated Researchers Can Reliably Mitigate Alignment Failures
• 来源摘要：WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution
• 来源摘要：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks
• 来源摘要：EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery、AIDE2: The First Evidence of Recursive Self-Improvement、How Do Agents Fail on AutoResearch、Scaling Automatic Research Agents via World Models、Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks
• 来源摘要：历史会话中的 Agent 工程开源项目回溯

来源

• TraceForge: Distilling with Your Own Thinking

• AI-Run Research on Nenya Discovers the Headroom Law, Recursively Improves Its Own Harnesses, and Sets 325 Mathematical Records

• Meta2: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents

• Harness Engineering for Self-Improvement

• Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces

• Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces

• HarnessOpt-Bench: Evaluating LLMs at Harness Optimization

• Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures

• Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements

• Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses

• SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents

• StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

• Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification

• PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents

• Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems

• Meta-Harness: End-to-End Optimization of Model Harnesses

• Self-Harness: Harnesses That Improve Themselves

• Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses

• Automated Researchers Can Reliably Mitigate Alignment Failures

• WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution

• Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks

• EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery

• AIDE2: The First Evidence of Recursive Self-Improvement

• How Do Agents Fail on AutoResearch

• Scaling Automatic Research Agents via World Models

• Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks

• 历史会话中的 Agent 工程开源项目回溯

• Why do improvement require a baseline: structured review of evaluation for 13 self-improving LLM systems

• Kernel Autoresearch for Open-Ended Model Discovery

• Harness Evolution Hits a Ceiling: When Weight Training Should Begin

• TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation

待核实问题

• 核实进度（2026-08-28）：Meta-Harness、Self-Harness、AHE 与 Shepherd 已完成原文核对并分别入库。ACE、MCE 和更早期原始文献仍待逐篇核对。
• 仍有选择偏差：需要更多反对观点、失败研究和产业实践；项目方 benchmark 与作者综述不能替代独立证据。
• 外推边界：HarnessOpt-Bench v1、Recuris、SkillForge、StarHarness、PILOT、Astar、HarnessLens 与 WikiSkill 的任务、种子、模型、公开性和算力条件各不相同，尚不能合并成“智能体自我改进整体有效”的单一结论。