摘要
这篇 COLM 2026 论文把多轮机器学习工程智能体的“创造性”拆成相对自身历史的新颖性、相对人类解法语料的新颖性和任务效用。作者报告，GPT-5 智能体探索的解法比金牌人类 notebook 更偏离既有方法，但多数运行没有达到奖牌水平；在高新颖、低收益状态下，智能体通常继续细化，而且分数没有可测提升。它提供的是执行式评测和失败诊断，不是强化学习或自我进化方法。（来源：原始论文记录（本地存档），pp.1-2、10）
核心内容
- 评测单位是完整 episode，而不是单个动作：计划、代码、执行失败、最终有效分数和时间戳共同构成一次尝试。（来源：原始论文记录（本地存档），§3.1，p.3）
- GPT-5 评判器与 300 个 episode 的人工 P-creativity 标注达到
r=0.732；H-creativity 则用语义近邻检索缩小人类语料，再由 GPT-5 判断算法层面的差异。（来源：原始论文记录（本地存档），§3.3、§5.1） - 实验覆盖 10 个 MLE-Bench 任务、两套智能体运行支架和三种 AIRA 搜索策略；每次最多 8 小时和 10 个 episode，总计算约 2,112 GPU 小时。（来源：原始论文记录（本地存档），§4，p.5；Appendix H，p.24）
- AIDE(GPT-5) 平均 H-creativity 为 1.423，金牌人类解法为 0.744，但只有 21.25% 的 GPT-5 运行达到奖牌水平。92 个高新颖、低收益 episode 中，87.0% 继续细化，后续任务分数的中位变化为 0。（来源：原始论文记录（本地存档），§5.3，p.10）
- AIRA 的贪心、MCTS 与演化搜索数轮后表现相近；论文据此提出，变异算子、记忆和上下文等共同运行支架可能比搜索策略名称更决定长期探索行为，但这是实验内归纳，不是因果消融。（来源：原始论文记录（本地存档），§5.2）
相关页面
- 概念：Agent Creativity Evaluation、Execution-Based Agent Evaluation、Harness Optimization
- 实体：无
- 主题：LLM Agent Self-Improvement
来源
- 原始文件：原始资料（本地存档）
- alphaXiv：https://www.alphaxiv.org/abs/2608.llm-agents-creativity-evaluation
- 代码：https://github.com/shitanshubhushan/Creativity-Evaluation-Framework
- 定位信息：§3-5，pp.3-10；Future Directions and Limitations，p.15；Appendix B-D、H，pp.19-24
待核实问题
- alphaXiv 条目没有显示传统数字 arXiv ID；需继续核对正式 COLM 2026 proceedings 记录和后续版本。
- 论文的 2,112 GPU 小时实验、人工标注一致性和全部创造性分数尚未独立复现。
- 代码仓库未见自动化测试或 CI；对更长轨迹、开放研究任务和训练数据污染的稳健性仍待验证。