摘要
本审计覆盖 2026-10-16 Asia/Shanghai 首次公开或实质更新的 CUA 项目,核对精确提交、源码、测试/CI、许可证、运行要求和安全边界。达到长期知识门槛的是 MarkForge、DSH Computer Use、Duet 与 Looktap。(来源:原始资料(本地存档))
核心内容
- MarkForge 把 screenshot grounding 做成 deterministic Set-of-Mark/CV pipeline,并以 freshness、危险词、VLM 复核和 audit trail 约束 coordinate action;但没有启用 CI,也没有 ScreenSpot 或统一 CUA benchmark。(来源:原始资料(本地存档))
- DSH Computer Use 把 auto/ask/off、sub-agent gate 和 native approval 放在每次工具调用的宿主侧,并用外部 window title 检查“被拒时桌面确实未变化”。(来源:原始资料(本地存档))
- Duet 与 Looktap 都把移动设备变成可审计 CUA actor:前者强调多 actor scenario、报告与输入回执,后者统一 iOS/Android accessibility、截图、动作和设备日志;真机与 benchmark 仍主要是项目方报告。(来源:原始资料(本地存档))
- 四个项目都是 grounding、runtime、评测或安全基础设施,没有 policy parameter update,因此都不是严格 Agentic RL 或 Recursive Self-Improvement。(来源:原始资料(本地存档))
相关页面
- 概念:Computer-Use Agent、Execution-Based Agent Evaluation
- 实体:MarkForge、DSH Computer Use、Duet、Looktap
- 主题:Browser and Computer-Use Agents、Agent Harness 与 Agentic RL 开源生态
来源
- 原始文件:原始资料(本地存档)
- 定位信息:GitHub 精确窗口 metadata/commits/source/tests/workflows/check runs;本地 Node tests、Python compile 与 syntax checks。
待核实问题
- 需在真实 Windows、macOS、Android 和 iOS 设备上复现 approval、grounding、stale-state refusal、输入回执、人工接管与长程跨应用任务。
- 项目方真机 smoke 与 benchmark 不能替代固定模型、多 seed、统一任务集的独立 E2E。