代睿 Wiki

Cua

10分钟阅读

摘要

Cua 是 computer-use Agent 的跨操作系统 driver、sandbox、SDK、benchmark 和 RL 环境集合，可用于执行、评测、轨迹生成与训练。

核心内容

基本信息

  • 实体类别：computer-use 执行环境与评测基础设施。
  • 关键名称或版本：npm-fleet-v0.1.1；MIT。
  • 时间范围：2025-01-31 创建；2026-09-03 推送并核实。

重要事实

  • 核实时为 22,146 stars；当前浅克隆约 4,445 个文件、105 个 workflow 和 558 个测试文件。（来源：历史会话中的 Agent 工程开源项目回溯）
  • driver 支持 macOS、Windows 和 Linux 的后台控制；sandbox 统一 Linux、macOS、Windows 与 Android；Cua-Bench 可运行 OSWorld 等任务并导出训练轨迹。（来源：历史会话中的 Agent 工程开源项目回溯）
  • 它提供可供 Agentic RL 使用的环境和数据，不负责 RL policy update。核实当日多次 Sandbox Live Fleet 周期 E2E 失败。（来源：历史会话中的 Agent 工程开源项目回溯）
  • 2026-10-06 窗口内，Cua Driver 0.34.0 发布了统一的跨平台 cursor motion；后续修复避免 macOS 后台右键重复投递，并把 Enter/Tab 提交后字段值重写造成的 type_text partial-delivery 误报改成“已发送但未验证”，防止上层重复输入。（来源：2026-10-06 CUA 开源项目审计）
  • 同一窗口的 gVisor/arm64 修复只关闭 Chromium 不兼容的 seccomp-bpf 层，保留 namespace 与外围容器隔离；这是兼容性与 defense-in-depth 之间的明确取舍。（来源：2026-10-06 CUA 开源项目审计）
  • 2026-10-07 窗口继续收紧 observation/action contract：get_window_state 支持默认 250 元素的精简树和 since 增量，run_actions 在执行前统一校验最多 32 个动作，cursor motion 用 Rust/TypeScript golden trajectories 对齐；macOS 修复还会稳定前台 250ms 并在输入后恢复原应用。（来源：2026-10-07 CUA 开源项目审计）
  • 2026-10-10 窗口把 macOS screenshot 默认最长边限制为 1366 px，把 quiet action 的窗口观察缩短到约 300 ms，并鼓励按 app 过滤窗口；run_script 同时改为默认开放、由 operator 显式退出。窗口末 checks 为 16 success、3 skipped。（来源：2026-10-10 CUA 开源项目审计）
  • 2026-10-11 窗口公开 Cua Driver Bench v2：macOS runner、BenchLab/BenchSentinel、10 个 probe/task、3 个 multi-app pack task、failure fixtures、oracle、provenance、方法/预注册摘要与独立 CI；首次公开和后续 checker/Codex 修复 workflow 均成功。（来源：2026-10-11 CUA 开源项目审计）
  • 同日 driver 把用户 key window 保持、后台目标菜单后的窗口恢复、Windows 输入 pacing、后台目标 self-activation 和像素双击路由纳入实现；项目方报告的小样本 focus/latency 改善尚未独立复现。（来源：2026-10-11 CUA 开源项目审计）
  • 2026-10-12 窗口把 Driver Bench v2 扩展到 Codex/Claude 与多 driver 的 2×3 harness matrix，并对 multi-player/background completion 采用未量测 fail-closed；公开 benchmark 从历史 MIT 版本切到 FSL-1.1-MIT，复现必须锁定 commit 与许可证。（来源：2026-10-12 CUA 开源项目审计）
  • 同日 driver 明确 off-Space Chromium observation 可能陈旧，对后台 hover/drag/未生效 value write 返回诚实拒绝或 write_not_applied，并修复 Linux AT-SPI deadlock；pairing code 和 staging/prod 隔离则把设备接入与部署边界变成可测试契约。（来源：2026-10-12 CUA 开源项目审计）
  • 2026-10-13 窗口连续发布 driver 0.35.0-0.35.2：macOS 支持另一个 Space 的既有 Chrome profile attach，并修复后台 pixel typing/key/scroll、Electron inner scroll 与 TextEdit/Finder 的 silent failure；Linux 修复 AT-SPI frame/bus，Windows 容忍瞬时 UIA read 与重复 consent prompt。（来源：2026-10-13 CUA 开源项目审计）
  • 同日 desktop pointer 遇到 browser page 会转交 browser_prepare，对 background app 拒绝桌面指针；截止 commit checks 为 27 success、2 skipped、1 macOS unit failure，因此不能写成全绿。（来源：2026-10-13 CUA 开源项目审计）
  • 2026-10-14 窗口发布 0.35.3-0.35.4：Linux 首次 tree walk 会唤醒 Chromium AT-SPI，macOS background guard 不再因校准吞掉用户按键，Linux type_text 以 spare-keycode batching 支持更多未映射字符，trajectory timestamp 统一为 ISO-8601。（来源：2026-10-14 CUA 开源项目审计）
  • 同日 Cua Bench 对缺失/非有限 reward、setup-only success、cleanup failure 与非法 step budget fail closed；opt-in WireGuard/QUIC mesh 把 relay fallback 保持为 ciphertext transport。这些都是 runtime/evaluator/transport 更新，不是 policy learning。（来源：2026-10-14 CUA 开源项目审计）
  • 2026-10-15 窗口继续修复 observation/action honesty：macOS 按 pid 列窗口时保留 accessory/HUD，Linux batched text 在窗口未确认读取 borrowed keycode 时停止，isolated browser 明示 session TTL/process/profile lifecycle；Cua Bench 的 path evaluator 遇到 sandbox timeout/crash 改报 infrastructure error，而非误记 reward 0。（来源：2026-10-15 CUA 开源项目审计）
  • 同日 Windows 路径加入 lock/RDP-disconnect capture 诊断、无管理员 unattended host fallback、ShellExecuteW 登录 URL 和 Docker Desktop installer signature/size gate；截止提交 36 个 checks 为 32 success、4 skipped、0 failure。（来源：2026-10-15 CUA 开源项目审计）
  • 2026-10-23 窗口把 recoverable ACP turn failure 与任务取消分开，保留 polling 和 queued turn；benchmark direct auth 增加 credential source、共享 symlink 与 metadata-only fail-closed preflight。Browser Use CLI arm 已固定 wheel/SHA，但仍 staged、未启用和未计分。（来源：2026-10-23 CUA Project Audit）

关系与影响

  • 2026-10-25：mesh 连接改 per-peer gate，离线 peer 不再阻塞整个 fleet；15+5 合成测试要求在线 <=2 秒、离线 <=3 秒，这些是断言预算而非公网实测。账号切换分离 host/device/mesh/pool 身份并保留 paused/retry 恢复记录，relay 仍负责权限裁决。截止 132 个 checks 有 SwiftUI 打包失败与跳过项，本轮未独立真实 relay/账号 E2E；非 Agentic RL/RSI。（来源：2026-10-25 CUA 项目审计）

Cua 把 Computer-Use Agent 的虚拟化、驱动、benchmark 与 trajectory 串成一套工程底座；与 OpenCLI、BrowserSkill 的真实浏览器桥接路径不同。

分歧与变化

大量 workflow 和高 stars 不代表当前全绿；跨 OS 行为、后台输入限制和镜像复现需按平台分别核实。

0.34.0 release gate 在 Linux、Windows、macOS、签名与安装器上均通过，但这些是项目 CI，不是本知识库的跨平台实机复现。（来源：2026-10-06 CUA 开源项目审计）

2026-10-07 cutoff 提交的 Actions 并非全绿：rust (macos-26) 失败；因此本轮只把更新记为实质工程进展，不把它写成跨平台稳定性已完成。（来源：2026-10-07 CUA 开源项目审计）

2026-10-10 的截图压缩与 settle 缩短改善成本和延迟，但不能独立证明动作成功率；默认开放批量脚本也扩大了单次调用的动作面，应与 operator opt-out 和上层 policy gate 一起评估。（来源：2026-10-10 CUA 开源项目审计）

Driver Bench v2 在窗口内首次公开时为 MIT，但紧接窗口边界后改为 FSL-1.1-MIT；因此历史复现应锁定 commit 和许可证，而不是用当前仓库状态倒推公开当日。（来源：2026-10-11 CUA 开源项目审计）

相关页面

来源

待核实问题

  • 需按 OS、虚拟化后端和 benchmark 版本复现安全隔离与轨迹一致性。
  • 需量化 gVisor/arm64 下关闭 Chromium seccomp 对实际攻击面的影响，并复现实机输入回执修复。
  • 需在锁定 Agent/model、公开 seeds 和多个 OS 上复现 Driver Bench v2，并把 GUI-only guard/evaluator 的误判与真实任务成功率分开报告。
  • 需公开并复现 2×3 matrix 的模型结果，验证 off-Space freshness、后台拒绝语义、pairing code 生命周期和 staging/prod credential 隔离。

反向链接