摘要

LBYL 用冻结 VLM 比较 screenshot crop 与 DOM/accessibility text,再训练 correction policy 让 GUI agent 在可疑控件前改写页面并重新观察。(来源:2026-10-22 CUA 开源项目审计)

核心内容

基本信息

  • 实体类别:GUI safety detector、offline environment 与 Agentic RL correction policy。
  • 关键名称或版本:g_phi mismatch head;pi_theta correction policy;MIT。
  • 时间范围:2026-10-22 代码首次公开;配套论文 under review。

重要事实

  • g_phi 使用 [p,s,p-s,p*s] 显式比较像素和结构通道;pi_theta 用 GRPO-style interaction reward 更新参数,因此 correction policy 属于严格 Agentic RL。(来源:2026-10-22 CUA 开源项目审计)
  • 项目方归档的 learned detector + reground 把构造任务 trap ASR 从 1.000 降到 0.071,但 held-out always-safe completion 为 0.667,约 33% over-intervention。(来源:2026-10-22 CUA 开源项目审计)
  • 对 SusBench 离线重建没有零样本迁移:当 deceptive pattern 在 screenshot 与 DOM 中保持一致时,该检测信号不存在。(来源:2026-10-22 CUA 开源项目审计)

关系与影响

它为 Computer-Use Agent 提供跨模态一致性防线,也说明 verifier 的适用类必须通过跨分布负结果界定。

分歧与变化

本 Wiki 只独立跑通 stub adaptive harness,没有复现 VLM/Playwright/GRPO 主实验;项目方数字不是独立结果。

相关页面

来源

待核实问题

  • 对真实网站、封闭 Shadow DOM、canvas、prompt injection 和跨站副作用的泛化。