摘要
AutoResearchEval 是面向完整自动研究生命周期的过程级 benchmark；ARFT 是从其 800 条轨迹归纳出的 45 类失败体系。
核心内容
基本信息
- 实体类别：autoresearch benchmark、轨迹语料与失败分类体系。
- 关键名称或版本：arXiv:2608.14905v3。
- 时间范围：2026-08-14 首次提交；代码与数据状态核实于 2026-09-03。
重要事实
- 100 个任务覆盖七个科学领域、六个研究阶段，区分开放发现与目标锚定优化。（来源：How Do Agents Fail on AutoResearch）
- 最突出的问题是自审与行动脱节，而不是单纯工具故障；82.5% 的分析出现发现严重问题却未修正。（来源：How Do Agents Fail on AutoResearch）
关系与影响
它把 Execution-Based Agent Evaluation 扩展为 artifact-aware process evaluation，为 Agent Failure Localization 和 Autoresearch 设计提供研究生命周期坐标。
分歧与变化
论文称完整任务、轨迹和标注已发布，但 GitHub README 又明确部分核心语料不在该仓库；应按 GitHub、Hugging Face 与论文三处分别核验，不把“项目已开源”写成“单仓库可复现”。
相关页面
- 概念：Autoresearch、Execution-Based Agent Evaluation、Agent Failure Localization
- 实体：EurekAgent、AIDE2、Argus
- 主题：AI Agent Failure Analysis、LLM Agent Self-Improvement
来源
待核实问题
- 需核实跨发布入口的完整性、许可证和逐标签 judge 可靠性。