摘要
LBYL 用冻结 VLM 比较 screenshot crop 与 DOM/accessibility text,再训练 correction policy 让 GUI agent 在可疑控件前改写页面并重新观察。(来源:2026-10-22 CUA 开源项目审计)
核心内容
基本信息
- 实体类别:GUI safety detector、offline environment 与 Agentic RL correction policy。
- 关键名称或版本:
g_phimismatch head;pi_thetacorrection policy;MIT。 - 时间范围:2026-10-22 代码首次公开;配套论文 under review。
重要事实
g_phi使用[p,s,p-s,p*s]显式比较像素和结构通道;pi_theta用 GRPO-style interaction reward 更新参数,因此 correction policy 属于严格 Agentic RL。(来源:2026-10-22 CUA 开源项目审计)- 项目方归档的 learned detector + reground 把构造任务 trap ASR 从 1.000 降到 0.071,但 held-out always-safe completion 为 0.667,约 33% over-intervention。(来源:2026-10-22 CUA 开源项目审计)
- 对 SusBench 离线重建没有零样本迁移:当 deceptive pattern 在 screenshot 与 DOM 中保持一致时,该检测信号不存在。(来源:2026-10-22 CUA 开源项目审计)
关系与影响
它为 Computer-Use Agent 提供跨模态一致性防线,也说明 verifier 的适用类必须通过跨分布负结果界定。
分歧与变化
本 Wiki 只独立跑通 stub adaptive harness,没有复现 VLM/Playwright/GRPO 主实验;项目方数字不是独立结果。
相关页面
- 概念:Computer-Use Agent、Agentic RL、Execution-Based Agent Evaluation
- 实体:Agent TraceCheck
- 主题:Browser and Computer-Use Agents、Agent Harness 与 Agentic RL 开源生态
来源
待核实问题
- 对真实网站、封闭 Shadow DOM、canvas、prompt injection 和跨站副作用的泛化。