TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation

摘要

TRACE 用配对 rollout、轨迹对照和不重跑 agent 的反事实重评分，把“分数变了”拆成 agent、环境或 verifier 三类可能原因。它直接适用于把 verifier 同时用作 benchmark 指标和训练 reward 的 agent 系统，但没有训练新的 policy。（来源：原始资料（本地存档））

核心内容

• 25 个合成任务的 1,575 条记录中，工具别名让行为不变的 policy 分数下降 0.250；别名归一化重评分后差距归零。（来源：原始资料（本地存档））
• τ2-bench 扩展实验显示，相同条件重跑仍有 15%–36% 的 outcome 翻转；两个 judge 对同一记录有 57% 分歧，说明单次 score gap 不能直接归因于 capability。（来源：原始资料（本地存档））
• 该协议不执行 GUI CUA，也没有 policy learning；分类为 agent evaluation / reward diagnosis，非严格 Agentic RL、非 RSI。（综合：原始资料（本地存档））

相关页面

• 概念：Execution-Based Agent Evaluation、Agentic RL
• 实体：TRACE
• 主题：AI Agent Failure Analysis、LLM Agent Self-Improvement

来源

• 原始文件：原始资料（本地存档）
• 定位信息：arXiv v1，Abstract、§2–§5、Table 2–4 与 limitations；正文由 alphaXiv PDF 查询核实。

待核实问题

• 代码、数据发布物和跨 benchmark 复现状态待核实。