摘要

MarkForge 是面向 screenshot-only GUI 的确定性 visual-grounding 与控制组件,用 classic CV、可选 OCR 和 Set-of-Mark 把目标映射为可解释坐标。(来源:2026-10-16 CUA 开源项目审计)

核心内容

基本信息

  • 实体类别:CUA visual-grounding/runtime。
  • 关键名称或版本:v0.1.0;MIT。
  • 时间范围:2026-10-16 首次公开。

重要事实

  • grounding 支持编号、文本、颜色和面积查询;相同输入产生可重放结果,top-two 接近时返回 AMBIGUOUS 而非强行选择。(来源:2026-10-16 CUA 开源项目审计)
  • click 前重新观察并校验 frame/focus/geometry;危险词、stale coordinate、非 grounded 或 VLM 复核失败会拒绝动作。(来源:2026-10-16 CUA 开源项目审计)
  • 本地 Node 4/4 通过;Python checks 与作者 live smoke 未在本知识库复现,仓库截止时也没有启用 Actions。(来源:2026-10-16 CUA 开源项目审计)

关系与影响

它把 Computer-Use Agent 的 pixel grounding 从模型隐式判断拆成独立、可测试、可审计步骤。

分歧与变化

Classic CV 对纯色/轮廓控件有效,但 flat/icon-font/photo-like UI 容易漏检或误检;不能替代 learned parser,也不是 sandbox。

相关页面

来源

待核实问题

  • 需补 ScreenSpot/真实桌面 benchmark、启用 CI,并验证 OCR、mixed-DPI、动态页面与危险动作 policy。