摘要
Looktap 是以 accessibility tree 为主、截图与坐标为补充的 iOS/Android 设备控制 CLI、skill 与 MCP runtime。(来源:2026-10-16 CUA 开源项目审计)
核心内容
基本信息
- 实体类别:mobile CUA runtime。
- 关键名称或版本:0.2.1;AGPL-3.0;旧名 simwright。
- 时间范围:2026-10-16 完成重命名、real iPhone/iPad 与 Agent integration 更新。
重要事实
- 统一支持 iOS simulator、real iPhone/iPad、Android emulator/phone;real iOS 通过用户签名的 XCUITest runner 与 usbmuxd,Android helper 通过
app_process运行而不安装 APK。(来源:2026-10-16 CUA 开源项目审计) @ref在元素移动后失效,ambiguous label 不猜;动作可等待 screen change/settle,并提供 logs、crashes、permissions 与条件注入。(来源:2026-10-16 CUA 开源项目审计)- 截止快照本地 tests 56/56 通过;Xcode 27 input 仍未验证,项目 benchmark 与真机覆盖未独立复现。(来源:2026-10-16 CUA 开源项目审计)
关系与影响
它与 Duet 都把 mobile device 暴露给 Agent;Looktap 更偏设备层统一工具,Duet 更偏跨 actor scenario 与报告。
分歧与变化
real iPhone runner 的签名与 private simulator framework 会随 Apple toolchain 漂移;真实凭据与 OTP 明确保留给人类。
相关页面
- 概念:Computer-Use Agent、Execution-Based Agent Evaluation
- 实体:Duet、ESP32 iPhone Agent、Galaxy Use
- 主题:Browser and Computer-Use Agents
来源
待核实问题
- 需独立验证 real iPhone 签名生命周期、Xcode 27 input、Android helper contention、secure screen 与长程恢复。