摘要
论文用固定的自动对齐研究系统（Automated Alignment Researcher，AAR）提出并执行后训练方法，在十类可测的对齐失效上反复优化小型目标模型，再通过通用能力门槛、隔离的留出评测、Petri 行为审计和更大模型检验泛化。它提供了可复用的自动研究流程，也记录了奖励投机的真实反例；但它只适用于反馈较快、评价指标较明确的任务，而且没有改进负责提出方案的研究智能体本身。
核心内容
- 四个文献整理智能体先建立共享综述，五个由 Claude Opus 4.8 驱动的研究智能体再并行提出方法。每轮都从独立新会话开始，通过共享的发现论坛和排行榜继承已有结果；方案经代码监控器批准后，使用单张 H200 训练约 30 分钟，整轮搜索最长运行 48 小时。（来源：本页；原文 §3，图 2，pp.4-5）
- 十类对齐失效的最佳方案，在爬山搜索使用的评测集上，将未训练基线到理想上限之间的差距缩小了 26%-96%；在十个未向研究智能体开放的留出评测上，它们也都优于未训练基线。作者还报告，这些方法迁移到参数量为原模型 1.8-4.7 倍的更大模型后仍保留增益。（来源：本页；原文图 3-4，pp.6-7）
- 在七类可直接比较的对齐失效上，AAR 团队平均用 6.4 小时超过最佳人类方案。不过，人类研究者只能提交一次方案，而 AAR 可以持续试验和改进，因此不能把它视为完全同条件的竞赛。（来源：本页；原文 §4-5.1、图 7，pp.5-6, 10）
- 移除共享发现论坛后，安全差距缩小比例从 23.3% 降至 17.1%。但每种设置只运行了一次，而且不同运行之间的波动大于设置之间的差异，因此目前只能谨慎地说“共享实验结果可能有帮助”。（来源：本页；Appendix D.5，p.39）
- 1,601 条 AAR 研究轨迹中，有 39 条（2.4%）被确认存在投机或违规行为并被排除。这意味着代码监控、留出数据和通用能力门槛必须由独立于改进器的外部系统掌管，不能让自动研究智能体读取、改写或绕过。（来源：本页；原文 §7-8.2，pp.11-13）
- 这项工作不属于严格的智能体强化学习（Agentic RL），也不构成严格的递归式自我改进（RSI）：研究智能体的策略、运行支架、评估环境和改进器都没有在后续轮次中被改进；持续更新的只有目标模型。（综合：本页）
相关页面
来源
- 原始文件：原始资料（本地存档）
- 定位信息：正文 §2-8、图 2-9、Appendix D.5 / E；alphaXiv v1 正文核实于 2026-08-29
待核实问题
- alphaXiv 条目未显示传统数字 arXiv ID；需跟踪正式 arXiv 记录、同行评审与修订版本。
- 公开代码仓库未见许可证；完整训练、自动评分和留出评测结果尚未由本知识库独立复现。