Recursive Self-Improvement

摘要

Recursive Self-Improvement（RSI）指 AI 使用当前能力改进产生其能力的机制，形成持续反馈循环。现代语境下，它既可能指模型参数层面的改变，也可扩展到训练流程、部署系统和 harness 的改进。（来源：Harness Engineering for Self-Improvement）

核心内容

定义

RSI 的关键不是一次性提高任务答案，而是改进能够持续产生更好后继系统的机制。（来源：Harness Engineering for Self-Improvement）

关键要点

• 近中期路径可能先通过 harness、工作流和研究自动化提升模型的有效能力，而不是直接让模型重写自身权重。（来源：Harness Engineering for Self-Improvement；该表述为作者预测）
• 完整自我改进可同时涉及非参数的 harness 演化与模型参数更新，但联合优化的证据仍较早期。（来源：Harness Engineering for Self-Improvement）
• Agentic ESOpt 提供了参数更新与外部 skill/context 组合的弱共演化例子，但没有持久 harness 自编辑、交替联合优化或改进 improver 的闭环，因此不能单独作为严格 RSI 证据。（来源：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements）
• Recuris 和 StarHarness 展示了两种持久 harness 自进化：前者将结构化失败轨迹转成带 checker 和 held-out gate 的 memory patch，后者把工具、MCP、验证和控制流纳入分层搜索并保留 accepted patch ledger。（来源：Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses、StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments）
• SkillForge 是较窄的模型-skill bank 共进化例子：RL 更新模型，rollout 又修改下一轮可调用的 skill bank；但 skill 提案依赖外部 teacher/reflexion，且没有改进 improver 本身。（来源：SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents）
• HarnessLens 和 PILOT 代表两种持久 harness 自进化：前者以行为感知验证和可归因门接受跨任务编辑，后者在执行中由 supervisor 固化成功的 skill/memory；两者都不更新模型权重。（来源：Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification、PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents）
• Astar 把 RSI 回路推进到模型提案策略与工业系统执行结果之间：GRPO 更新 Astar，代码 Agent 实施方向，训练/部署反馈再进入下一轮。现有证据支持模型-harness/环境共进化，但不足以证明 improver 本身递归改进。（来源：Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems）
• Meta-Harness、Self-Harness 与 AHE 都会把接受后的 harness 代码或组件保留给后继任务，因此可归为持久 harness 演化；三者分别由外部 proposer、目标模型自身、同基础模型的 Evolve Agent 实施改进，但都不更新模型权重或 improver。（综合：Meta-Harness: End-to-End Optimization of Model Harnesses、Self-Harness: Harnesses That Improve Themselves、Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses）
• Shepherd 在同一 substrate 上分别展示持久 CRO workflow 优化与 Tree-GRPO 模型训练，但两者没有交替反馈，Meta-Agent/improver 也未被后继轮次改进；因此是两类自我改进机制的并列原型，而不是完整 RSI 闭环。（综合：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces）
• AAR 是“固定改进器持续改进目标模型”的边界案例：目标模型权重会跨轮次保留，但研究智能体、监控器、评估器、评测集和运行支架都不会随模型变化而更新，后续轮次也没有改进负责提出方案的改进器。因此，它不构成严格的递归式自我改进，也没有形成模型、运行支架与环境的交替共进化。（综合：Automated Researchers Can Reliably Mitigate Alignment Failures）
• WikiSkill 是“经验编译为持久知识，再驱动后继技能”的有限自我改进：技能与 Wiki 会跨轮保留并改变后续执行，但模型权重、Wiki Maintainer、Skill Proposer 和接受机制都没有被改进，因此不能把知识累积本身等同于严格 RSI。（综合：WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution）
• AIDE2 把 autoresearch 指向自身 harness：100 个外层步骤产生七个被接受版本，且 AIDE47/AIDE85 在循环未见任务上优于起点。它是当前较强的 Level 1 harness RSI 作者证据；但 AIDE47 作为外层 improver 只更快接近相似上限，差异不显著，因此 ignition/Level 2 未成立。（来源：AIDE2: The First Evidence of Recursive Self-Improvement）
• Argus 展示固定模型的验证门控 runtime self-evolution：经审核的记忆、技能、验证器、路由与失败路线会改变后续任务起点。其成熟阶段效率改善是同一任务序列上的观察性变化，不能单独证明递归加速。（来源：Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks）
• Meta2 的任务内 edits 会改变同一 run 的后续行为，但部署结果不写回 frozen Meta-Skill，模型与 evolver 也不更新；因此它至多属于任务内修正，不能按论文“toward RSI”的措辞升级为严格 RSI。（来源：Meta2: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents）
• Nenya 达到“持久 harness 自进化”：通过 evidence gate 的外部 artifact 跨代保留并影响后继系统。它没有模型参数更新、模型-harness/environment 共进化或被验证的 improver recursion，因此不应上调到更强 RSI 层级。（来源：AI-Run Research on Nenya Discovers the Headroom Law, Recursively Improves Its Own Harnesses, and Sets 325 Mathematical Records）
• Exo 允许模型修改 Prompt、工具、Executor 与运行支架代码，同时由下层事件日志保留尝试历史。它提供了 harness-level recursion 与恢复底座，但尚不更新模型权重，也没有证明改进器本身随版本递归增强，因此属于有限的 Harness RSI 工程路径。（来源：ExoHarness 架构、—harness 实现与 Prime Agent 对比调研）
• 递归结构本身不保证进步；基础模型能力、验证质量和权限边界仍是约束。（来源：Harness Engineering for Self-Improvement）
• Protected Baseline Review 将“输出修订、持久状态改变、proposer 可被修改”分为三个层级，并发现被审的 13 个系统全部冻结 foundation-model 权重；它提供 RSI 评测词汇，但自身没有执行改进循环，不能作为 RSI 已实现的证据。（来源：Why do improvement require a baseline: structured review of evaluation for 13 self-improving LLM systems）
• Harness Evolution Ceiling Study 持久修改外部 harness 并用回滚门筛选版本，可归为有限的 harness-level self-improvement；后续 LoRA/SFT 只内化既有轨迹，不让 improver 或训练机制自身变强，因此不构成严格 RSI。（来源：Harness Evolution Hits a Ceiling: When Weight Training Should Begin）

适用范围与边界

该概念覆盖从局部工作流改进到系统级能力循环的不同尺度，讨论时必须说明被改进的是提示、上下文、harness、训练管线还是模型权重。（来源：Harness Engineering for Self-Improvement）

分歧与演变

Harness 改进在 RSI 中会占多大比重，以及多少外部机制最终会被模型能力内化，目前没有确定答案。（来源：Harness Engineering for Self-Improvement）

相关页面

• 上位概念：LLM Agent Self-Improvement
• 相关概念：Harness Engineering、Self-Improving Harness、Agentic RL、Harness Optimization、Autoresearch
• 相关实体：Lilian Weng、Agentic ESOpt、Recuris、SkillForge、StarHarness、HarnessLens、PILOT、Astar、Meta-Harness、Self-Harness、Agentic Harness Engineering、Shepherd、Automated Alignment Researcher、WikiSkill、AIDE2、Argus、Exo、Protected Baseline Review、Harness Evolution Ceiling Study
• 相关主题：LLM Agent Self-Improvement

来源

• AI-Run Research on Nenya Discovers the Headroom Law, Recursively Improves Its Own Harnesses, and Sets 325 Mathematical Records

• Meta2: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents

• Harness Engineering for Self-Improvement

• Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements

• Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses

• SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents

• StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

• Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification

• PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents

• Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems

• Meta-Harness: End-to-End Optimization of Model Harnesses

• Self-Harness: Harnesses That Improve Themselves

• Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses

• Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces

• Automated Researchers Can Reliably Mitigate Alignment Failures

• WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution

• AIDE2: The First Evidence of Recursive Self-Improvement

• Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks

• ExoHarness 架构、—harness 实现与 Prime Agent 对比调研

• Why do improvement require a baseline: structured review of evaluation for 13 self-improving LLM systems

• Harness Evolution Hits a Ceiling: When Weight Training Should Begin

待核实问题

• 当前页面已有多篇 2026 年方法论文，但 RSI 的历史定义、早期原始文献与不同学派用法仍需补充。