摘要
Recursive Self-Improvement（RSI）指 AI 使用当前能力改进产生其能力的机制，形成持续反馈循环。现代语境下，它既可能指模型参数层面的改变，也可扩展到训练流程、部署系统和 harness 的改进。（来源：Harness Engineering for Self-Improvement）
核心内容
定义
RSI 的关键不是一次性提高任务答案，而是改进能够持续产生更好后继系统的机制。（来源：Harness Engineering for Self-Improvement）
关键要点
- 近中期路径可能先通过 harness、工作流和研究自动化提升模型的有效能力，而不是直接让模型重写自身权重。（来源：Harness Engineering for Self-Improvement；该表述为作者预测）
- 完整自我改进可同时涉及非参数的 harness 演化与模型参数更新，但联合优化的证据仍较早期。（来源：Harness Engineering for Self-Improvement）
- Agentic ESOpt 提供了参数更新与外部 skill/context 组合的弱共演化例子，但没有持久 harness 自编辑、交替联合优化或改进 improver 的闭环，因此不能单独作为严格 RSI 证据。（来源：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements）
- Recuris 和 StarHarness 展示了两种持久 harness 自进化：前者将结构化失败轨迹转成带 checker 和 held-out gate 的 memory patch，后者把工具、MCP、验证和控制流纳入分层搜索并保留 accepted patch ledger。（来源：Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses、StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments）
- SkillForge 是较窄的模型-skill bank 共进化例子：RL 更新模型，rollout 又修改下一轮可调用的 skill bank；但 skill 提案依赖外部 teacher/reflexion，且没有改进 improver 本身。（来源：SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents）
- HarnessLens 和 PILOT 代表两种持久 harness 自进化：前者以行为感知验证和可归因门接受跨任务编辑，后者在执行中由 supervisor 固化成功的 skill/memory；两者都不更新模型权重。（来源：Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification、PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents）
- Astar 把 RSI 回路推进到模型提案策略与工业系统执行结果之间：GRPO 更新 Astar，代码 Agent 实施方向，训练/部署反馈再进入下一轮。现有证据支持模型-harness/环境共进化，但不足以证明 improver 本身递归改进。（来源：Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems）
- Meta-Harness、Self-Harness 与 AHE 都会把接受后的 harness 代码或组件保留给后继任务，因此可归为持久 harness 演化；三者分别由外部 proposer、目标模型自身、同基础模型的 Evolve Agent 实施改进，但都不更新模型权重或 improver。（综合：Meta-Harness: End-to-End Optimization of Model Harnesses、Self-Harness: Harnesses That Improve Themselves、Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses）
- Shepherd 在同一 substrate 上分别展示持久 CRO workflow 优化与 Tree-GRPO 模型训练，但两者没有交替反馈，Meta-Agent/improver 也未被后继轮次改进；因此是两类自我改进机制的并列原型，而不是完整 RSI 闭环。（综合：Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces）
- 递归结构本身不保证进步；基础模型能力、验证质量和权限边界仍是约束。（来源：Harness Engineering for Self-Improvement）
适用范围与边界
该概念覆盖从局部工作流改进到系统级能力循环的不同尺度，讨论时必须说明被改进的是提示、上下文、harness、训练管线还是模型权重。（来源：Harness Engineering for Self-Improvement）
分歧与演变
Harness 改进在 RSI 中会占多大比重，以及多少外部机制最终会被模型能力内化，目前没有确定答案。（来源：Harness Engineering for Self-Improvement）
相关页面
- 上位概念：LLM Agent Self-Improvement
- 相关概念：Harness Engineering、Self-Improving Harness、Agentic RL、Harness Optimization
- 相关实体：Lilian Weng、Agentic ESOpt、Recuris、SkillForge、StarHarness、HarnessLens、PILOT、Astar、Meta-Harness、Self-Harness、Agentic Harness Engineering、Shepherd
- 相关主题：LLM Agent Self-Improvement
来源
- Harness Engineering for Self-Improvement
- Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements
- Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses
- SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents
- StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments
- Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification
- PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents
- Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems
- Meta-Harness: End-to-End Optimization of Model Harnesses
- Self-Harness: Harnesses That Improve Themselves
- Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses
- Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces
待核实问题
- 当前页面已有多篇 2026 年方法论文，但 RSI 的历史定义、早期原始文献与不同学派用法仍需补充。