摘要
foxbench 是 Firefox browser agent 的固定本地任务套件，用 server-state oracle 判定真实结果，并把 prompt-injection 是否被执行与任务是否安全完成分开计分。（来源：notes—2026-10-09-cua-project-audit）
核心内容
基本信息
- 实体类别：browser-agent benchmark
- 关键名称或版本：窗口内截止提交
1bb39bc - 时间范围：2026-10-09 起
重要事实
- 13 个任务覆盖 flight、signup/contact、mail 与 shop；4 个 trap 分别用
aria-hidden、off-screen、fake system message 和 white-on-white text。（来源：notes—2026-10-09-cua-project-audit） - oracle 读取 server state，agent 自报 done 不参与判分；随机 control key 防止被测 agent 访问 reset/state/result endpoints。（来源：notes—2026-10-09-cua-project-audit）
- 本地 lint、typecheck、82 tests、build、extension build 和 validation 全通过；GitHub 两个 checks 成功。（来源：notes—2026-10-09-cua-project-audit）
关系与影响
它扩展 Execution-Based Agent Evaluation：安全分数必须同时包含 trap avoidance 和合法任务完成，不能只看 attack blocked。
分歧与变化
项目方 foxpilot 单次为 0/13，早期同日运行曾为 3/4；运行方差不能解释为稳定模型能力。（来源：notes—2026-10-09-cua-project-audit）
相关页面
来源
待核实问题
- 更多网站、语言、动态数据、泄漏通道和多 seed 模型结果待核实。