摘要
MarkForge 是面向 screenshot-only GUI 的确定性 visual-grounding 与控制组件,用 classic CV、可选 OCR 和 Set-of-Mark 把目标映射为可解释坐标。(来源:2026-10-16 CUA 开源项目审计)
核心内容
基本信息
- 实体类别:CUA visual-grounding/runtime。
- 关键名称或版本:v0.1.0;MIT。
- 时间范围:2026-10-16 首次公开。
重要事实
- grounding 支持编号、文本、颜色和面积查询;相同输入产生可重放结果,top-two 接近时返回
AMBIGUOUS而非强行选择。(来源:2026-10-16 CUA 开源项目审计) - click 前重新观察并校验 frame/focus/geometry;危险词、stale coordinate、非 grounded 或 VLM 复核失败会拒绝动作。(来源:2026-10-16 CUA 开源项目审计)
- 本地 Node 4/4 通过;Python checks 与作者 live smoke 未在本知识库复现,仓库截止时也没有启用 Actions。(来源:2026-10-16 CUA 开源项目审计)
关系与影响
它把 Computer-Use Agent 的 pixel grounding 从模型隐式判断拆成独立、可测试、可审计步骤。
分歧与变化
Classic CV 对纯色/轮廓控件有效,但 flat/icon-font/photo-like UI 容易漏检或误检;不能替代 learned parser,也不是 sandbox。
相关页面
- 概念:Computer-Use Agent、Execution-Based Agent Evaluation
- 实体:OpenCode Computer Use、PointHand
- 主题:Browser and Computer-Use Agents
来源
待核实问题
- 需补 ScreenSpot/真实桌面 benchmark、启用 CI,并验证 OCR、mixed-DPI、动态页面与危险动作 policy。