摘要

论文证明“任务完成”会掩盖相似 skill 对目标 skill 的替代:最终任务可能照常完成,但项目要求的独有流程已经丢失。它把 skill evaluation 从 pass/fail 扩展为核心功能 fidelity 与实际 skill routing。(来源:原始资料(本地存档))

核心内容

  • 数据重建覆盖 55,698 个 skill、105,302 个非 fork 副本和 20,947 个仓库;主实验含 312 对 skill 与 6,368 条运行日志。(来源:原始资料(本地存档))
  • 相似 skill 共存使目标 skill 使用率下降 19.9 个百分点,任务完成率没有显著下降,但独有核心功能 fidelity 下降 5.6 个百分点。(来源:原始资料(本地存档))
  • 研究不含 GUI CUA、权重训练或跨轮自修改;非 Agentic RL、非 RSI。(综合:原始资料(本地存档))

相关页面

来源

  • 原始文件:原始资料(本地存档)
  • 定位信息:arXiv v1,§3–§6、Figure 4–5、Data Availability;正文由 alphaXiv PDF 查询核实。

待核实问题

  • 完整多 seed 复现、其他 agent 平台上的同等规模实验与 guard 绕过率待核实。