摘要
论文证明“任务完成”会掩盖相似 skill 对目标 skill 的替代:最终任务可能照常完成,但项目要求的独有流程已经丢失。它把 skill evaluation 从 pass/fail 扩展为核心功能 fidelity 与实际 skill routing。(来源:原始资料(本地存档))
核心内容
- 数据重建覆盖 55,698 个 skill、105,302 个非 fork 副本和 20,947 个仓库;主实验含 312 对 skill 与 6,368 条运行日志。(来源:原始资料(本地存档))
- 相似 skill 共存使目标 skill 使用率下降 19.9 个百分点,任务完成率没有显著下降,但独有核心功能 fidelity 下降 5.6 个百分点。(来源:原始资料(本地存档))
- 研究不含 GUI CUA、权重训练或跨轮自修改;非 Agentic RL、非 RSI。(综合:原始资料(本地存档))
相关页面
- 概念:Harness Engineering、Execution-Based Agent Evaluation
- 实体:One Skill Too Many
- 主题:Agent Harness 与 Agentic RL 开源生态、AI Agent Failure Analysis
来源
- 原始文件:原始资料(本地存档)
- 定位信息:arXiv v1,§3–§6、Figure 4–5、Data Availability;正文由 alphaXiv PDF 查询核实。
待核实问题
- 完整多 seed 复现、其他 agent 平台上的同等规模实验与 guard 绕过率待核实。