Why do improvement require a baseline: structured review of evaluation for 13 self-improving LLM systems

摘要

该结构化综述用 13 个 self-improving LLM systems 说明：若需求、评测和采纳策略仍在被评系统可写范围内，“分数提高”不足以证明可靠改进。论文提出 protected baseline 与 adoption/revert 规则，并把输出修订、持久状态改写和可改写 proposer 分成三个层级。（来源：原始资料（本地存档））

核心内容

• Protected baseline B=(S_a,R,E,P) 要求已接受系统、requirements、evaluation 和 adoption policy 与可写工件隔离；采纳同时约束主效用提升和保留能力回退。（来源：原始资料（本地存档））
• 13 篇中只有 5 篇独立重复 headline run，2 篇直接测试 improvement capacity，8 篇没有相关测试；全部保持 foundation-model 权重固定。（来源：原始资料（本地存档））
• 样本非穷尽、没有第二编码者或仓库审计，提出的 capacity estimands 也未被实际测量；结论适合做审计框架，不应当作统一效果量。（来源：原始资料（本地存档））

相关页面

• 概念：Self-Improving Harness、Recursive Self-Improvement、Execution-Based Agent Evaluation
• 实体：Protected Baseline Review
• 主题：LLM Agent Self-Improvement

来源

• 原始文件：原始资料（本地存档）
• 定位信息：方法、13-system evidence table、tampering examples、capacity estimands 与 limitations 由 alphaXiv PDF 全文问答核实。

待核实问题

• 作者、正式出版记录和配套数据待核实。