摘要
Agent Creativity Evaluation 同时考察智能体是否提出相对自身历史或人类解法的新方法，以及这些方法是否真正改善可执行任务结果。它避免把“输出与已有答案不同”直接当作有价值的发现。（来源：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks）
核心内容
定义
- P-creativity：相对同一运行中智能体此前尝试的新颖性。
- H-creativity：相对同一任务可获得的人类解法语料的新颖性。
- Usefulness：方法能否执行，以及终局任务指标是否改善。三个维度应分开记录，不能用新颖性替代效用。（来源：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks，Figure 1，p.2）
关键要点
- 评测单位应覆盖从计划到有效执行结果的完整 episode；否则容易把调试动作、重复生成或失败代码误算成独立创意。（来源：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks，§3.1）
- 大规模 H-creativity 可先检索最相似的人类方法，再由语义评判器比较算法差异；人类与智能体解法必须经过同一表示流程。（来源：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks，§3.3）
- 新颖性与收益可能脱钩。高新颖、低收益轨迹如果缺少判断方向上限的信号，会被持续细化而没有性能改善。（来源：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks，§5.3）
- P-creativity 可以作为探索退化的诊断信号，但把它直接变成奖励仍需验证防投机和真实收益，不能从相关性指标推断训练有效。（综合：同一来源的 Appendix A 与主要结果）
适用范围与边界
适合有多轮执行轨迹、可量化任务结果和可构造参照语料的研究或工程任务。开放研究中通常缺少有限的人类解法全集和稳定效用指标，H-creativity 尤其难以可靠定义。（来源：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks，Future Directions and Limitations）
分歧与演变
“不同于人类”既可能表示有效创新，也可能只是偏离成熟方法。当前来源通过跨任务上限和任务分数减弱“任意偏离”的解释，但仍不能排除语料缺失、模型污染和评判器偏差。（来源：Can LLM Agents Discover? Evaluating Creativity on ML Engineering Tasks，§5.3、p.15）
相关页面
- 上位概念：Execution-Based Agent Evaluation
- 相关概念：Harness Optimization、Agentic RL、Agent Failure Localization
- 相关实体：无
- 相关主题：LLM Agent Self-Improvement
来源
待核实问题
- 更长轨迹的历史压缩是否保持评判一致性，尚缺跨模型验证。
- 新颖性奖励能否改善探索而不诱发无效偏离或奖励投机，仍需实际训练实验。