TRACE

摘要

TRACE 是用于诊断 agent verifier 脆弱性的配对实验协议，把系统分数变化与固定轨迹上的 evaluator judgment 变化分开。（来源：papers—2610.11678-TRACE）

核心内容

基本信息

• 实体类别：agent evaluation protocol
• 关键名称或版本：TRACE，arXiv:2610.11678v1
• 时间范围：2026-10-08

重要事实

• 以定向 mutation、配对 rollout、轨迹检查、counterfactual rescoring 和 repeat/positive controls 形成诊断链。（来源：papers—2610.11678-TRACE）
• 它不训练 agent，也不执行 GUI CUA；价值在于避免把 verifier 偏差或 run-to-run variation 误读成 capability 变化。（综合：papers—2610.11678-TRACE）

关系与影响

直接关联 Execution-Based Agent Evaluation 与 Agentic RL 的 reward 可靠性。

分歧与变化

无。

相关页面

• 概念：Execution-Based Agent Evaluation、Agentic RL
• 实体：无
• 主题：AI Agent Failure Analysis

来源

• papers—2610.11678-TRACE

待核实问题

• 跨 GUI/browser benchmark 的有效性待验证。