Computer-Use Agent

摘要

Computer-Use Agent 是通过图形界面、键鼠或受控终端操作完整计算机环境的可执行智能体，目标通常跨越文件、桌面状态、原生应用与网页，而不是只生成文本答案。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）

核心内容

定义

其执行闭环包含操作系统或虚拟机、screenshot/accessibility tree/terminal 等观察、键鼠或代码动作，以及读取最终文件、应用配置或 UI 状态的 evaluator。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments，§2.2-2.4）

关键要点

OSWorld 用 VM snapshot、任务配置和结果 getter 将真实应用状态转成可重复实验；369 个 Ubuntu 任务覆盖单应用与跨应用工作流。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments，表 3）
UI grounding 是核心瓶颈之一：OSWorld 分析的 550 个失败样例中，超过 75% 出现鼠标点击不准，但这不是唯一根因，状态恢复、弹窗、应用知识和指令理解也会共同作用。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments，§5.4）
观察越丰富不保证表现单调提升；screenshot、a11y、Set-of-Marks、分辨率和历史长度都与模型能力及上下文成本交互。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments，§5.1-5.2）
环境提供 reward 或 RL-ready 动作空间，不代表论文已经训练了 Agent policy；OSWorld 原论文属于 benchmark/runtime，而不是严格 Agentic RL。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）
部署可用性不能只看任务成功率。GUI Agent Efficiency 还要求核算观察表示、历史与 KV cache、动作和恢复、规划与反思、外围解析与验证的端到端成本。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§2-7）
MiMo-V2.6 把 OSWorld-Verified、GUI/API/CLI/MCP 混合环境和多 harness 训练纳入同一次严格 Agentic RL run，说明 CUA 可以作为通用 Agent policy 训练的一部分；但报告没有拆分 screenshot/a11y grounding、动作精度或 human takeover 的独立贡献。（来源：MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement）
SPEEDRUNBENCH 把逐帧截图到控制器动作的 ONLINE CUA 与完整轨迹编辑分开，并用完成帧数而非二元成功率继续区分已经完成任务的 Agent；Pokemon 中最佳在线 Agent 仍约为人类记录帧数的 4 倍。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning，pp.3-7）
近期执行层把可靠性拆成状态压缩、动作预校验、后台输入、外部 policy gate、人工接管、checkpoint 和动作后验证；这些机制分别见于 Cua、OpenComputerUse、Agent Computer Use、Cloud Browser Agent、Long-Horizon Computer-Use Agent 与 Universal Computer Control，但单元测试和 CI 不能替代锁定模型的真实桌面 E2E。（来源：2026-10-07 CUA 开源项目审计）
2026-10-08 的 runtime 进一步分化：Desktop Tools 用签名身份和 snapshot receipt 绑定 macOS 动作，RDP Computer Use 用单动作、timeout、重复检测和 post-action verifier 约束远端 Windows，OpenCode Computer Use 采用 UIA→OCR→视觉坐标 fallback 与 set-of-marks；三者都不等于 OS sandbox。（来源：2026-10-08 CUA 开源项目审计）
Harness Evolution Ceiling Study 在 WebArena-Lite 上发现关键增益来自让模型多看一页完整网页历史，说明 browser CUA 的 observation history 是不可总被权重微调替代的 runtime 能力。（来源：Harness Evolution Hits a Ceiling: When Weight Training Should Begin）
2026-10-09 的新 runtime 进一步强调目标 freshness 与控制生命周期：Computer Use Wayland 在动作前重查几何、focus 和画面变化，DSH Unified Computer Use 拒绝 stale callback/observation 和任意 CDP，Hands 把动作收窄为窗口与元素编号；这些约束能减少错目标，但都不等同于 OS sandbox。（来源：2026-10-09 CUA 开源项目审计）
AutoCua 展示统一多 surface harness 与 compression handoff，Sandbox Studio 展示 microVM、host-held secrets 和网络审批；前者的真实 shell 无人工审批，后者的 browser broker 尚未实现，因此“功能广”与“隔离强”必须分别验证。（来源：2026-10-09 CUA 开源项目审计）
Midscene 的当日更新把模型 streaming、截断检测、调用记录和 SIWC token lifecycle 接入已有多 surface harness；这改善认证与可观测性，但不增加动作审批或 OS 隔离。（来源：2026-10-09 Midscene 更新审计）
2026-10-10 的执行层把“并发、接管、观察和副作用”拆得更细：Sidescreen 用独立 display 与 takeover 隔开 Agent/用户输入，Phone Use Page 并列视频、UI tree 与 verified text target，Handbrake 和 SideGate 分别在动作前做视觉后果分类、动作后做 state diff；DSH Computer Use Fusion 则展示取消这些 gate 换取批量吞吐的反向取舍。（来源：2026-10-10 CUA 开源项目审计）
2026-10-11 的重点从“能不能操作”转向“能不能可靠续接并诚实完成”：Cua 将 driver 失焦、用户窗口恢复、failure fixture 和 evaluator contract 公开成 Driver Bench v2，Heliox OS 则把重启恢复设为人工 Resume + 重新观察，并让 plan review 只能收紧权限、不能授权。（来源：2026-10-11 CUA 开源项目审计）
2026-10-12 的新项目把 CUA 拆成互补层：Work2Skill 采集人类 GUI 经验并归纳技能，ESP32 iPhone Agent 用 AirPlay+HID 操作真实移动设备，ComputerUseAgent 管 consent/隐私/行为评测，OS Control 用模型外 gate 管高风险动作，HealthEnv 把 QA 编译成可验证环境；没有一项仅凭 runtime/skill/verifier 就构成 policy RL。（来源：2026-10-12 CUA 开源项目审计）
Cua 同日把未量测后台完成设为 fail-closed，并明确 off-Space observation stale、后台 hover/drag/value-write 的真实可达性；这说明 observation freshness 与 honest action refusal 应成为 CUA contract，而不是靠上层 Agent 猜测。（来源：2026-10-12 CUA 开源项目审计）
2026-10-13 的 runtime 把“Agent 不打扰用户”拆成不同强度：Hermes Computer Use Plus 提供 Stop/Take over，Computer Use MCP for Sway 将 action 绑定到最近 screenshot，DSH Computer User 区分 virtual rehearsal 与真实 SendInput，Agent Desktop 分离 nested seat；这些机制都必须与 OS sandbox 和真实任务成功分开记录。（来源：2026-10-13 CUA 开源项目审计）
Cua 同日跨 macOS/Linux/Windows 修复 background action、observation 与 consent，并把 browser page 从 desktop pointer route 中分离；cutoff 仍有一个 macOS unit failure，表明 action honesty 的进步不等于完整跨平台通过。（来源：2026-10-13 CUA 开源项目审计）
2026-10-14 的实现把 CUA contract 继续拆细：Personal Agent Computer 用独立 VM 与 host-held credential egress 隔离 Agent computer，AutoTrack 采集动作前后截图/a11y/DOM/OCR 轨迹，TaskKit Windows Computer Bridge 把动作绑定 fresh screenshot 与 owner stop，Cua 修复 AT-SPI/typing/trajectory/evaluator fail-closed。（来源：2026-10-14 CUA 开源项目审计）
WebMix 用 source-interface LoRA bank、bounded scout manual 与 router composition 适配新网站/版本，在 TimeWarp/WebArena-Lite-v2 上优于 transferred LoRA；它只用 accessibility tree，训练是 SFT/BC 而不是环境 reward RL。（来源：Don’t Retrain, Remix: Adaptation of Web Agents Using Mixture Hypernetworks）
2026-10-15 的 runtime 再次显示相同“后台操作”可以有不同安全含义：Screens 隔离文件/网络/session/input owner，Mac Computer Use MCP 默认按 app 本地批准，macOS Harness v0.2.1 则删除独立 person-side stop；比较时必须把隔离、批准和可中止性分开。（来源：2026-10-15 CUA 开源项目审计）
Galaxy Use 把 read-only ADB screenshot 与 BLE HID input 分离，PointHand 用 allowlist/physical-idle/Escape 管 Windows creative input；两者都要求动作后重观察，且硬件/CI smoke 不能替代真实任务成功率。（来源：2026-10-15 CUA 开源项目审计）
2026-10-16 的项目把“看见、动作、验证”继续拆开：MarkForge 以确定性 CV/SoM 和 freshness gate 约束 screenshot coordinate，DSH Computer Use 在宿主每次调用时执行 approval/sub-agent gate，Duet 与 Looktap 则把 accessibility、input receipt、日志和移动设备状态带入可复查流程。（来源：2026-10-16 CUA 开源项目审计）
2026-10-18 的新 runtime 把宿主复用与移动设备可靠性分成两路：LJL454 DSH Computer Use、Magpie Computer Use 处理 session grant、原始 app approval 与 desktop action contract，iPhone Use Rust、NexusAndroid 处理 lost-answer queue、fresh phone state 与高风险 mobile policy；这些都是执行层，不是 policy RL。（来源：2026-10-18 CUA 开源项目审计）
2026-10-19 的工程更新集中在真实副作用的责任边界：OpenGCUA 把代码生成、accessibility/API 与 GUI 动作接到可持久会话，DeepGym 要求写操作在 verdict 前 settle，itda CLI 用单次 approval/digest/lease 约束 typed API action，OpenAI CUA Sample App 则给 browser action 加本地 origin 与步数边界；这些机制都改善 harness，而不是 policy RL 或 RSI。（来源：2026-10-19 CUA 开源项目审计）
2026-10-20 的工程主线是“动作之前与之后都要有模型外证据”：Vigil、SolveBind 用 EFSM/guard、pending action/evidence 与 successor checks 阻断未证实动作，Rust Computer Use、DSH PC Use 用 app/session approval 和停止语义约束宿主复用，Tandem 则保留 receipt 与真实 failed-unscored 结果；这些仍是 runtime/evaluation，不是 policy RL。（来源：2026-10-20 CUA 开源项目审计）
2026-10-21 的项目把“Agent 不打扰用户”和“Agent 被安全隔离”拆开：Root Driver、Layershot 做后台定向 input，Private Agent Desktop 分离 compositor/focus，HyzeVM 才提供独立 VM，SIConnect 则把授权留在手机端；这些边界不能用同一个“background”标签替代。（来源：2026-10-21 CUA 开源项目审计）
2026-10-22 的工程进展集中在 observation-to-action contract：BrowserSkill 用一次性协作上下文撤销旧计划，Clawd Cursor 将点击绑定截图并 read-back 输入，iPhone Use 保留 Flow/验收证据，DSH Android Use 让新观察或动作使旧 snapshot 失效；LBYL 则为 screenshot/DOM 不一致训练防御策略。（来源：2026-10-22 CUA 开源项目审计）
2026-10-23 没有直接 CUA 新论文；工程侧把恢复、隔离和真机授权继续下沉：Cua 区分 recoverable failure 与 cancel，BrowserSkill 保护 capture 生命周期，OpenGCUA 隔离 approval/memory revision，Phone Use 与 Open iPhone Use 分别用 Accessibility/WDA 和 Safari/Bluetooth HID 接入移动真机。（来源：2026-10-23 CUA Project Audit）

适用范围与边界

适用于办公软件、浏览器、代码编辑器、媒体工具与跨应用工作流。Browser-Use Agent 可视为其重要子域，但网页环境通常有 DOM 与站点 API，而完整桌面任务更多依赖像素坐标、操作系统 accessibility 和文件状态，二者不能只按同一分数直接比较。（综合：WebArena: A Realistic Web Environment for Building Autonomous Agents、OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）

分歧与演变

OSWorld 框架支持多种操作系统不等于 benchmark 已在各系统形成同规模覆盖；原论文主体是 Ubuntu，Windows 仅有补充任务，macOS 没有公开任务集。后续 OSWorld-Verified 与 OSWorld 2.0 也必须和原 v1 结果分开记录。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）

来源

待核实问题

当前跨 OS、跨应用和 live-account 任务的安全评测协议、凭据隔离与长期可复现性仍待更多来源交叉验证。

代睿 Wiki

知识导航

摘要

核心内容

定义

关键要点

适用范围与边界

分歧与演变

相关页面

来源

待核实问题

目录

反向链接