摘要
论文先按轨迹失败组成判断应该改 harness 还是改权重,再用 held-out gate 验收 harness 修改,并以 evolved-harness 轨迹做监督微调。其 WebArena-Lite 结果让这套诊断直接涉及 browser-use,但权重阶段不是 reward-driven RL。(来源:原始资料(本地存档))
核心内容
- DeepPlanning 的 48/72 开发-留出切分上,外部 harness evolution 主要修复循环、步数耗尽和不交付;4B held-out 分数 0.164→0.297、交付率 55%→90%,9B 为 0.323→0.442。(来源:原始资料(本地存档))
- 82/98 条筛选轨迹训练的 LoRA 在 seed harness 上分别带来约 +0.126/+0.131 held-out 增益;WebArena-Lite 的核心增益来自两页完整历史,不可由 adapter 替代。(来源:原始资料(本地存档))
- 系统持久修改外部 harness 且有回滚/held-out gate,可归为受约束 harness evolution;模型权重只做 SFT/LoRA,非严格 Agentic RL,也不是权重级 RSI。(综合:原始资料(本地存档))
相关页面
- 概念:Harness Engineering、Self-Improving Harness、Recursive Self-Improvement、Computer-Use Agent
- 实体:Harness Evolution Ceiling Study
- 主题:Browser and Computer-Use Agents、LLM Agent Self-Improvement
来源
- 原始文件:原始资料(本地存档)
- 定位信息:arXiv v1,§3–§6、Table 1、WebArena-Lite 实验与 Limitations;正文由 alphaXiv PDF 查询核实。
待核实问题
- 代码与 trajectory 发布物、跨夜结果和统一预算对照仍待独立复现。