摘要

本审计覆盖 2026-10-16 Asia/Shanghai 首次公开或实质更新的 CUA 项目,核对精确提交、源码、测试/CI、许可证、运行要求和安全边界。达到长期知识门槛的是 MarkForge、DSH Computer Use、Duet 与 Looktap。(来源:原始资料(本地存档))

核心内容

  • MarkForge 把 screenshot grounding 做成 deterministic Set-of-Mark/CV pipeline,并以 freshness、危险词、VLM 复核和 audit trail 约束 coordinate action;但没有启用 CI,也没有 ScreenSpot 或统一 CUA benchmark。(来源:原始资料(本地存档))
  • DSH Computer Use 把 auto/ask/off、sub-agent gate 和 native approval 放在每次工具调用的宿主侧,并用外部 window title 检查“被拒时桌面确实未变化”。(来源:原始资料(本地存档))
  • Duet 与 Looktap 都把移动设备变成可审计 CUA actor:前者强调多 actor scenario、报告与输入回执,后者统一 iOS/Android accessibility、截图、动作和设备日志;真机与 benchmark 仍主要是项目方报告。(来源:原始资料(本地存档))
  • 四个项目都是 grounding、runtime、评测或安全基础设施,没有 policy parameter update,因此都不是严格 Agentic RL 或 Recursive Self-Improvement。(来源:原始资料(本地存档))

相关页面

来源

  • 原始文件:原始资料(本地存档)
  • 定位信息:GitHub 精确窗口 metadata/commits/source/tests/workflows/check runs;本地 Node tests、Python compile 与 syntax checks。

待核实问题

  • 需在真实 Windows、macOS、Android 和 iOS 设备上复现 approval、grounding、stale-state refusal、输入回执、人工接管与长程跨应用任务。
  • 项目方真机 smoke 与 benchmark 不能替代固定模型、多 seed、统一任务集的独立 E2E。