摘要

Looktap 是以 accessibility tree 为主、截图与坐标为补充的 iOS/Android 设备控制 CLI、skill 与 MCP runtime。(来源:2026-10-16 CUA 开源项目审计)

核心内容

基本信息

  • 实体类别:mobile CUA runtime。
  • 关键名称或版本:0.2.1;AGPL-3.0;旧名 simwright。
  • 时间范围:2026-10-16 完成重命名、real iPhone/iPad 与 Agent integration 更新。

重要事实

  • 统一支持 iOS simulator、real iPhone/iPad、Android emulator/phone;real iOS 通过用户签名的 XCUITest runner 与 usbmuxd,Android helper 通过 app_process 运行而不安装 APK。(来源:2026-10-16 CUA 开源项目审计)
  • @ref 在元素移动后失效,ambiguous label 不猜;动作可等待 screen change/settle,并提供 logs、crashes、permissions 与条件注入。(来源:2026-10-16 CUA 开源项目审计)
  • 截止快照本地 tests 56/56 通过;Xcode 27 input 仍未验证,项目 benchmark 与真机覆盖未独立复现。(来源:2026-10-16 CUA 开源项目审计)

关系与影响

它与 Duet 都把 mobile device 暴露给 Agent;Looktap 更偏设备层统一工具,Duet 更偏跨 actor scenario 与报告。

分歧与变化

real iPhone runner 的签名与 private simulator framework 会随 Apple toolchain 漂移;真实凭据与 OTP 明确保留给人类。

相关页面

来源

待核实问题

  • 需独立验证 real iPhone 签名生命周期、Xcode 27 input、Android helper contention、secure screen 与长程恢复。