Autoresearch

摘要

Autoresearch 是让研究 Agent 围绕问题、假设和可复查证据持续运行的自动研究闭环。狭义实现通常反复修改代码、执行实验并按指标保留或回滚；广义系统还包括文献与机制发现、研究计划、独立审核、负结果保留、跨会话状态和人工决策边界。（综合：EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery、How Do Agents Fail on AutoResearch）

核心内容

定义

一个可核验的 autoresearch loop 至少需要：可编辑研究对象、真实或可校准的执行环境、明确实验产物、跨轮状态、接受/拒绝规则和停止条件。只做文献总结、一次性写代码、生成论文文本或通用 AutoML 超参数搜索，不足以证明完整 autoresearch。

关键要点

• 反馈闭环：假设必须转成可执行实验；结果应改变下一轮的计划、代码、证据要求或停止决策，而不是只进入报告叙述。（来源：EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery）
• 评估器是系统核心：公开分数会诱导过拟合或 grader fitting。隐藏评估、private split、真实执行 anchor 和独立 reviewer 分别处理不同投机面，不能互相替代。（来源：AIDE2: The First Evidence of Recursive Self-Improvement、Scaling Automatic Research Agents via World Models）
• 过程证据不能压成一个终局分数：AutoResearchEval 显示大量失败发生在证据已存在但没有触发修正的地方；代码、日志、数据、图表、负结果和审核 verdict 都应保留为一等产物。（来源：How Do Agents Fail on AutoResearch）
• 环境工程决定可持续性：隔离 grader、任务工作区、Git 历史、预算、并行会话和中断恢复可以让研究循环长期运行，又不把全部安全性寄托在模型自律上。（来源：EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery、Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks）
• 稠密指标与开放研究是两种制度：前者适合 keep/reject 和 RL；后者需要允许证据支持的目标修订、失败路线保留和人类裁决，不能伪造一个方便优化的单一分数。（来源：How Do Agents Fail on AutoResearch、Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks）
• “自我改进”需检查更新对象：EurekAgent 改研究代码，WMRL 用 RL 更新 research-agent 参数，Argus 更新持久 runtime state，AIDE2 外层改 inner harness。四者都能被称作自动研究，但只有 AIDE2 直接触及 improver/harness 自身，且仍未证明 ignition。（综合：本页来源）
• 开源工程需要独立准入：本 Wiki 的核心项目名单要求核实时至少 50 GitHub stars，同时核对实际代码/协议、近期活动、许可证、测试/CI、闭环角色与是否只是 fork。Stars 过滤低采用项目，但不替代 evaluator、恢复、权限和证据质量判断。（来源：Autoresearch GitHub 开源生态审计）
• 生态已分层：pi-autoresearch 等实现最小实验 loop，EvoMap AutoResearch、EurekAgent 和 Argus 承担完整 runtime，Onyx Agent 处理并行组织，AutoGuardrails 与 ATReX Kernel Agent 提供领域 verifier，Principia 和 Anti-Autoresearch 分别补足研究输入与审核。（综合：Autoresearch GitHub 开源生态审计）
• 同义检索会改变生态图谱：纳入 AI Scientist、autonomous research agent、scientific agent 与 research artifact 后，ARIS、EvoScientist、Arbor 和 Polaris 补充了不同形态的 runtime/工作台，Agent-Native Research Artifact、ToolUniverse 与 Scientific Agent Skills 则分别处于证据、工具和领域 skill 层；这些相邻层不能被误写成同一种 executor。（综合：AI Scientist GitHub 开源项目回溯）
• 受信构造器可把开放提案变成可审计搜索：KERNAUT 让固定 LLM 编写 kernel 程序，但只有经 construction contract 重建、PSD 与 purity 验证的候选进入持久 archive；这属于 verifier-guided autoresearch，不因 archive 持久化就成为严格 Agentic RL 或 RSI。（来源：Kernel Autoresearch for Open-Ended Model Discovery）

适用范围与边界

适合能够执行代码、产生实验记录并定义证据门的计算研究。湿实验、长期因果结论、伦理判断和开放理论问题仍需要外部实验室、领域专家或形式验证，不能因为 Agent 能写完整报告就当作研究已经成立。

分歧与演变

“autoresearch”也被一些项目用来泛指长时间自主工作或深度资料检索。为避免混淆，本 Wiki 将核心类别限定为“研究问题 -> 假设/计划 -> 执行/观察 -> 审核 -> 状态更新”的闭环；没有实验执行的资料搜集系统另按 research assistant 记录。

相关页面

• 上位概念：Harness Engineering
• 相关概念：Harness Optimization、Self-Improving Harness、Recursive Self-Improvement、Agentic RL、Execution-Based Agent Evaluation、Agent Failure Localization、World Model RL
• 相关实体：karpathy autoresearch、pi-autoresearch、EvoMap AutoResearch、Agent Loop Skills、AutoGuardrails、ATReX Kernel Agent、Onyx Agent、Principia、Anti-Autoresearch、EurekAgent、AIDE2、AutoResearchEval、Argus、ARIS、EvoScientist、Arbor、Polaris、Agent-Native Research Artifact、ToolUniverse、Scientific Agent Skills、AI Scientist
• 相关实体：KERNAUT
• 相关主题：Autoresearch 开源生态、LLM Agent Self-Improvement、AI Agent Failure Analysis

来源

• EurekAgent: Agent Environment Engineering is All You Need for Autonomous Scientific Discovery
• AIDE2: The First Evidence of Recursive Self-Improvement
• How Do Agents Fail on AutoResearch
• Scaling Automatic Research Agents via World Models
• Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks
• Autoresearch GitHub 开源生态审计
• AI Scientist GitHub 开源项目回溯
• Kernel Autoresearch for Open-Ended Model Discovery

待核实问题

• 仍缺一套跨系统共享的成本、证据质量、负结果价值、人工干预和长期复现量表。
• 开放研究中的“有价值 pivot”与“失败后的目标漂移”如何稳定区分，尚无被多项目验证的通用协议。