摘要
AutoResearchEval 用 100 个真实科学任务、八种 harness-model 组合和 800 条完整轨迹，把 autoresearch 评估从终局分数扩展到研究过程与产物。ARFT 的核心发现不是 Agent 经常“不会运行代码”，而是它们往往已经拥有反证，却没有把自审发现转成修正、停止或重规划。（来源：原始论文记录（本地存档），pp.2-13）
核心内容
- 任务分为 70 个开放发现和 30 个目标锚定优化，覆盖构思、检索、执行、分析、写作和自审六阶段；800 条轨迹共约 73,000 次工具调用。（来源：原始论文记录（本地存档），pp.5-6）
- 45 种失败按生命周期阶段与四类根因交叉组织。三类认知/科研问题占 92.1%，工程稳健性占 7.9%；“自知有错但不修”出现在 82.5% 的分析中。（来源：原始论文记录（本地存档），pp.9-10）
- 这提示 autoresearch 的 review 不能只产出文字意见：必须把证据差距连接到阻断、回滚、补实验或改结论的可执行状态迁移。（综合：原始论文记录（本地存档），pp.10-13）
- 论文没有训练模型或修改 harness，属于过程级诊断 benchmark，不是严格 Agentic RL 或 RSI。
相关页面
- 概念：Autoresearch、Execution-Based Agent Evaluation、Agent Failure Localization、Harness Engineering
- 实体：AutoResearchEval
- 主题：AI Agent Failure Analysis、LLM Agent Self-Improvement
来源
- 原始文件：原始资料（本地存档）
- arXiv：https://arxiv.org/abs/2608.14905
- alphaXiv：https://www.alphaxiv.org/abs/2608.14905
- 代码：https://github.com/PrentisAI/AutoResearchEval
- 数据：https://huggingface.co/datasets/PrentisAI/AutoResearchEval
- 定位信息：pp.1-10, 13, 17-18；仓库快照核实于 2026-09-03
待核实问题
- 需独立核对 Hugging Face 发布物是否包含论文所称的完整任务、轨迹与标注，以及各部分许可证。
- 单配置单任务一次运行和逐标签 judge 误差会如何改变失败频率，尚无重复实验。