Browser and Computer-Use Agents

摘要

Browser-use 与 computer-use 研究把 LLM Agent 放进可执行网页或桌面环境，以多步观察、动作和终局验证衡量实际任务完成。WebArena 建立了自托管网页与状态验证的基础协议，OSWorld 将范围扩展到真实操作系统、原生应用和跨应用工作流。（综合：WebArena: A Realistic Web Environment for Building Autonomous Agents、OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）

核心内容

范围与问题

该主题关注环境如何重置，Agent 看见 screenshot、DOM、a11y 或 terminal 中的什么，动作怎样落到 UI，以及 evaluator 如何确认结果而不拘泥于唯一轨迹。核心难点包括 grounding、长程状态、探索与恢复、上下文成本、环境漂移和副作用安全。（综合：上述两份来源摘要）

综合结论

WebArena 的 812 个任务覆盖信息查询、导航和内容/配置操作；GPT-4 prompt-only 基线最高 14.41%，170 题人类抽样为 78.24%。差距主要是历史证据，不能代表 2026 年系统现状。（来源：WebArena: A Realistic Web Environment for Building Autonomous Agents，表 2）
OSWorld 的 Ubuntu 主集有 369 个任务，包含 101 个跨应用 workflow；人类为 72.36%，原论文最强总体模型设置为 12.24%。它显示从网页扩展到完整桌面后，坐标 grounding、应用知识和恢复成本更加突出。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments，表 3、表 5）
两者都采用 Execution-Based Agent Evaluation，因此允许多条有效路径；但 evaluator 只能检查已编码结果，未编码的破坏、安全风险和用户体验可能完全不计分。（综合：上述两份来源摘要）
两篇基础论文都提供 reward 和多步环境，但都没有根据交互回报更新模型，所以不是严格 Agentic RL。环境是否可用于 RL 与论文是否实际做了 RL 必须分开。（综合：上述两份来源摘要）
任务成功率不足以说明系统是否可部署。GUI Agent Efficiency 应分别核算观察与解析、上下文与记忆、动作与恢复、规划器与外围运行时，并记录看似节省的 token 或步骤是否转化为新的 parser、retriever、verifier 或编排开销。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§2-7）

主要脉络

2026-10-25 综合：BrowserSkill 把 JS clickability 与原生 dialog 决策补入 grounding/action contract；Cua 隔离 fleet 的离线阻塞与账号切换身份；Remote Browser Use 展示 OAuth 不等于默认逐动作人工批准；Lean Computer Use 强调过滤读取、保留完整证据和 cleanup。都属于执行 harness，而非策略学习；局部合成测试与整体 CI 失败必须同时保留。（来源：2026-10-25 CUA 项目审计）

WebArena 用自托管网站、预填数据、浏览器观察动作和网站状态 evaluator 建立可重复 browser-use benchmark。（来源：WebArena: A Realistic Web Environment for Building Autonomous Agents）
OSWorld 用 VM、真实应用、任务级 setup/getter/metric 和 PyAutoGUI 扩展到跨应用 computer-use。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）
后续工作开始把这类环境用于参数优化，例如 Agentic ESOpt 在 WebArena-Lite 上使用轨迹回报，但其 evolution strategy 与严格策略梯度式 RL 仍需分开标注。（来源：Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Memory Requirements）
运行框架、任务修订和 evaluator 修复正在持续演变：WebArena 推荐更新的统一框架，OSWorld 推出 Verified 版本和独立的 2.0 工作；旧表格不能直接和新榜单混排。（综合：WebArena: A Realistic Web Environment for Building Autonomous Agents、OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）
开源执行层进一步分化：Cua 提供跨 OS sandbox、benchmark 与 RL 环境，OpenCLI 把真实登录浏览器和网站适配器暴露为确定性 CLI，BrowserSkill 用独立 Agent Window 和本地桥接接入多种 harness。三者都需要单独处理授权、敏感数据、环境漂移和 evaluator 可信度。（来源：历史会话中的 Agent 工程开源项目回溯）
效率研究开始把成功之外的成本作为一等结果：选择性读取、全局到局部的视觉分配、可恢复记忆、验证感知控制和 GUI/非 GUI 混合执行是主要路线，但跨 benchmark 的统一成本核算仍未建立。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization）
DeepSeek-V4.1-Flash 将长程 agent 的服务瓶颈进一步定位到 prefill、KV 存储与数据搬运；CED、CSA2、FP4 cache 和 bounded replay 是可供 CUA runtime 借鉴的基础设施路线，但论文未评估 GUI grounding 或动作成功率。（来源：DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression）
FlashREINFORCE 以单 prompt 单 rollout、序列漂移 gate 与 trajectory 等权 loss 提升异步 Agent RL 的 prompt 覆盖和稳定性，可作为 CUA 稀疏终局 reward 训练的候选基础设施；但当前只验证 reasoning、Python tool 与 ALFWorld，作者明确把 OSWorld 留作未来工作。（来源：FlashREINFORCE: Critic-Free Single-Rollout Asynchronous RL for Agentic Language Models）
MiMo-V2.6 把 OSWorld-Verified 评测与 GUI/API/CLI/MCP 混合环境放进大规模异步 Agentic RL，并用多 mini-harness、groupwise grading 与 sandbox reset 处理跨任务训练；作者报告 Pro/Flash 为 82.0/80.8，但没有专门消融 GUI grounding、权限确认或接管机制。（来源：MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement）
SPEEDRUNBENCH 将游戏 CUA 的 ONLINE screenshot-action loop 与 OFFLINE 全轨迹搜索并列，使用完成帧数和人类世界纪录避免 benchmark 在“能完成”后立即饱和；它也表明 slow seed 会锁住搜索，而放大 scorer 预算能显著提升短任务成绩但带来数十万轨迹的成本。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning，pp.5-9）
MinigamesBenchmark 把像素 CUA 分解为 70 个可重放短游戏和四种执行节奏，适合隔离 grounding、键鼠时序与实时控制；Agent Seatbelt 则把动作前授权和 record-first 审计放进模型外的 runtime gate。二者分别补足评测可诊断性与副作用治理，但都不包含模型训练。（来源：2026-10-06 CUA 开源项目审计）
System1 Agents 的 served Laya 和 Cua 0.34.0 更新共同指向 action loop 的系统瓶颈：前者把快速决策的 deadline、retry 与 provenance 显式化，后者修复输入回执和底层事件重复；这些机制改善执行可靠性，但不能单独证明任务成功率提升。（来源：2026-10-06 CUA 开源项目审计）
2026-10-07 的项目窗口显示执行层开始同时处理“看见什么、何时动作、谁能阻止”：Cua 与 OpenComputerUse 压缩/增量化状态并改善后台输入，Agent Computer Use 和 Cloud Browser Agent 把模型外 policy gate 与人工接管做成 runtime contract，Long-Horizon Computer-Use Agent、Universal Computer Control 则补 checkpoint、验证、恢复和多级 fallback。（来源：2026-10-07 CUA 开源项目审计）
2026-10-08 没有新的直接 CUA 论文，但 Harness Evolution Ceiling Study 在 WebArena-Lite 上把 +0.09 测试增益定位到两页完整 history；三项新 runtime 则分别提供 macOS snapshot-bound 原生动作、RDP 单动作验证循环和 Windows UIA/OCR/视觉 fallback。（综合：Harness Evolution Hits a Ceiling: When Weight Training Should Begin、2026-10-08 CUA 开源项目审计）
2026-10-09 仍无新的直接 CUA 论文；工程侧出现三条更清晰的路径：observation-bound/semantic actions（Hands、Computer Use Wayland、DSH Unified Computer Use）、多 surface 长程 harness（AutoCua），以及把真实任务完成和 prompt-injection 安全联合判分的 foxbench。（来源：2026-10-09 CUA 开源项目审计）
评测本身也成为 runtime state：Contamination Clock 要求模型、memory、prompt、tool 或 harness 一变就重新判断旧 score 的 currency 与 reuse permission；这对持续更新的 CUA 尤其重要，但尚未在真实 GUI 环境验证。（来源：The Contamination Clock: Evaluation Validity as Runtime State in Adaptive AI Systems）
已有项目的实质更新同样值得逐提交核实：Midscene 在当日补充两种 OpenAI 协议的 streaming/截断检测、调用记录与 SIWC 登录刷新，但混合 CI 和未运行的真实账号 GUI E2E 仍限制结论。（来源：2026-10-09 Midscene 更新审计）
2026-10-10 仍无合格新 CUA 论文；工程主线转向可部署边界：Sidescreen 处理多 Agent display 与接管，Phone Use Page 处理 mobile mixed observation，Handbrake 与 SideGate 处理动作前/后的副作用，DSH Computer Use Fusion 则明确记录取消这些控制换取 persistent batch execution 的风险。（来源：2026-10-10 CUA 开源项目审计）
2026-10-11 仍无合格新 CUA 论文；高价值更新集中在可靠执行与可评测性。Cua 将前后台输入冲突、用户窗口恢复和 evaluator failure fixture 公开为 Driver Bench v2，Heliox OS 将 daemon restart 后续接绑定到人工 Resume、重新观察、action-scoped schedule、审批和完成前 postcondition。（来源：2026-10-11 CUA 开源项目审计）
2026-10-12 没有合格首次发布论文，但开源层把同一条 CUA 链拆成更可审计的部件：Work2Skill 的 demonstration-to-skill、ESP32 iPhone Agent 的 AirPlay/HID 真机闭环、ComputerUseAgent 的 consent/leakage 账本、OS Control 的模型外 gate、HealthEnv 的 sealed verifier；Cua 则继续收紧 observation freshness、后台拒绝和 multi-harness benchmark contract。（来源：2026-10-12 CUA 开源项目审计）
2026-10-13 的 alphaXiv 精确日期结果均发生首发日期错配，故没有新论文；工程价值集中在用户/Agent 并行与 honest action：Cua 修跨 OS 后台输入，Hermes Computer Use Plus 做 visible takeover，Computer Use MCP for Sway 做 screenshot-bound refusal，DSH Computer User 区分虚拟演练与真实输入，Agent Desktop 用 nested seat 隔离 focus。（来源：2026-10-13 CUA 开源项目审计）
2026-10-14 没有首次发布的直接 CUA 论文；工程主线转向可审计边界：Personal Agent Computer 用 VM/egress 分离 secret，AutoTrack 把训练轨迹采集与隐私规则一起发布，TaskKit Windows Computer Bridge 做 fresh-target/local-stop，Cua 对 driver 与 evaluator fail closed；DSH Paseo Server 则把 harness 续接带到 E2EE mobile surface。（来源：2026-10-14 CUA 开源项目审计）
2026-10-15 首次出现当天可正文核实的直接 CUA 论文：WebMix 在冻结 LoRA bank 上用 bounded scout manual 路由组合，改善跨网站与版本迁移；它只观察 accessibility tree，属于 SFT/BC 适配而非 Agentic RL。（来源：Don’t Retrain, Remix: Adaptation of Web Agents Using Mixture Hypernetworks）
同日工程侧把控制边界进一步拆开：Screens 隔离 Agent desktop，Mac Computer Use MCP 默认逐应用批准，Galaxy Use 用物理 HID 跨过手机软件注入边界，macOS Harness v0.2.1 却删除独立 person-side stop，PointHand 保留 idle guard、Escape stop 与 secure-desktop refusal。（来源：2026-10-15 CUA 开源项目审计）
2026-10-16 的工程主线不是新模型，而是可验证控制：MarkForge 将 pixel grounding 拆成 deterministic pipeline，DSH Computer Use 用宿主 approval 与外部状态验证拒绝，Duet、Looktap 把 Android/iOS 的 accessibility、输入回执、日志和跨设备 scenario 纳入 runtime。（来源：2026-10-16 CUA 开源项目审计）
2026-10-18 没有合格新论文，工程主线继续转向 control contract：LJL454 DSH Computer Use 组合 UIA/pixel/batch 与会话租约，Magpie Computer Use 复用 Codex 原始批准链，iPhone Use Rust 测 lost-answer queue，NexusAndroid 用 fresh UI 与 shared policy 限制高风险手机动作。（来源：2026-10-18 CUA 开源项目审计）
2026-10-19 仍没有合格的直接 CUA 新论文；工程进展来自 OpenGCUA 的 code/a11y/API/GUI 混合执行与持久会话、DeepGym 的有限 computer-agent budget 和 settled-write verdict、itda CLI 的 typed action approval，以及 OpenAI CUA Sample App 的 browser-only 示例。能力边界分别停在未完成的 confirmation gate、trusted-root egress、人工拟定动作和非生产示例。（来源：2026-10-19 CUA 开源项目审计）
2026-10-20 没有直接 CUA 新论文，但开源工程把“安全”继续下沉为 action contract：Vigil、SolveBind 绑定 guard/evidence/successor，DSH PC Use 与 Rust Computer Use 绑定 app/session approval 和 stop，Tandem 公开真实 failed-unscored 记录；DSH Desktop Agent Bridge 补 ownership/takeover，但不直接执行 GUI。（来源：2026-10-20 CUA 开源项目审计）
2026-10-21 没有直接 CUA 新论文；工程主线是执行隔离层级：SIConnect 保留 device-side authorization，Root Driver/Layershot 做同用户后台动作，Private Agent Desktop 分离 display/input，HyzeVM 提供 VM 与 takeover。它们都没有 policy update。（来源：2026-10-21 CUA 开源项目审计）
2026-10-22 仍没有直接 CUA 新论文；BrowserSkill、Clawd Cursor、iPhone Use 与 DSH Android Use 把 stale observation、人工介入、输入 read-back 和移动动作验收做成 runtime contract。LBYL 则用严格 Agentic RL 训练页面纠正策略，但项目方负结果显示它不迁移到 screenshot/DOM 一致的 SusBench dark patterns。（来源：2026-10-22 CUA 开源项目审计）
2026-10-23 仍没有直接 CUA 新论文；Cua、BrowserSkill、OpenGCUA 的实质更新集中在 failure recovery、capture 生命周期、approval/memory revision 与下载/更新校验，Phone Use 和 Open iPhone Use 则补两条移动真机控制路线。项目 CI/本地测试不能替代真实登录、蓝牙与设备 E2E。（来源：2026-10-23 CUA Project Audit）

分歧与适用边界

WebArena 的人类 78.24% 来自每个模板抽一题的 170 题样本；OSWorld 报告的 72.36% 来自另一套桌面任务。样本、协议和结果值域不同，不能把差值解释为任务难度的精确排序。（来源：WebArena: A Realistic Web Environment for Building Autonomous Agents、OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）
WebArena 的“真实”是可重置网站快照；OSWorld 的“真实”是 VM 内真实 OS 与应用。两者都为可重复性主动缩减了开放世界的不确定性。（综合：上述两份来源摘要）
OSWorld v2 正文称 workflow 最佳为 6.57%，但同版表 5 加入 GPT-4o 后为 7.56%；本知识库保留这一内部不一致并以表格数值作为当前 v2 记录。（来源：OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments）
不同论文报告的 token、FLOPs、延迟、动作和美元成本来自不同模型、硬件、任务与预算；除非协议对齐，否则只能作为证据账本，不能直接据此排列系统效率。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，Appendix D）

来源

待核实问题

下一批应单独核对 BrowserGym/AgentLab、VisualWebArena、WebArena++、OSWorld-Verified 与 OSWorld 2.0，建立跨版本谱系，而不是把其结果回填到原论文页面。
DeepSeek-V4.1-Flash 的模型 checkpoint、正式出版状态和 CUA 任务上的端到端成本收益仍待独立核实。

代睿 Wiki

知识导航