摘要

Sidescreen 是 macOS computer-use runtime,为每个 Agent 建立独立 virtual display,并提供 accessibility、截图动作、人工 takeover 和 help request。(来源:2026-10-10 CUA 开源项目审计)

核心内容

基本信息

  • 实体类别:macOS CUA 执行与人类接管基础设施。
  • 关键名称或版本:新项目;MIT。
  • 时间范围:2026-10-10 首次公开并核实。

重要事实

  • 每个 session 绑定自己的 display;Agent 可看整屏 screenshot 或单窗口 accessibility tree,并以 named element 或坐标动作。(来源:2026-10-10 CUA 开源项目审计)
  • viewer 的 takeover 会暂停 Agent input,help request 可把登录、验证码或不确定状态交给人类;窗口关闭前还有 review/disposition lifecycle。(来源:2026-10-10 CUA 开源项目审计)
  • 窗口末 commit 有 1 个成功 Rust CI check;项目方五次测试报告 create-display 中位数 1040 ms 降至 840 ms,本知识库未独立复现。(来源:2026-10-10 CUA 开源项目审计)

关系与影响

它把 Computer-Use Agent 的并发执行和人工接管放进同一桌面 runtime,与 VM 隔离路线不同。

分歧与变化

独立 display 能减少鼠标键盘争用,却仍运行于真实用户会话并使用现有 app/login;同用户 socket 不是 OS sandbox,私有 macOS API 也带来系统升级风险。(来源:2026-10-10 CUA 开源项目审计)

相关页面

来源

待核实问题

  • 需验证多 Agent 并发、takeover 竞争、登录/验证码恢复和跨 macOS 版本兼容性。