摘要
iPhone Use Rust 是用 Rust 重写的 iPhone/iPad CUA runtime,经 USB/usbmuxd 与 WebDriverAgent 提供 MCP/CLI 动作、live viewer、mock phone 和无 WebDriverAgent fallback。(来源:2026-10-18 CUA 开源项目审计)
核心内容
基本信息
- 实体类别:iOS/iPadOS CUA runtime 与设备 viewer。
- 关键名称或版本:
iphone-use-rs;MIT;WebDriverAgent 16.14.0 pinned。 - 时间范围:2026-10-18 新公开仓库;导入的 rewrite 历史始于 2026-10-12。
重要事实
- MCP/CLI 支持 screen、UI tree、tap、swipe、type、launch 等十个工具;viewer 同步展示设备、stream 与 agent action marks。(来源:2026-10-18 CUA 开源项目审计)
- answer 丢失后的 action 保持 unresolved,后续 typing 等待设备队列确认,以降低重复或错字段输入;mock-wda 可重放 drop、apply-drop、locked 与 delayed queue。(来源:2026-10-18 CUA 开源项目审计)
- 无真机测试协议覆盖 mock phone MCP E2E、headless Wayland GUI 和 ESP32 HID fallback;本轮未下载依赖,未独立执行真机、GUI 或 firmware 测试。(来源:2026-10-18 CUA 开源项目审计)
关系与影响
它把 Computer-Use Agent 的移动设备动作、lost-answer reconciliation、viewer observability 与无 WebDriverAgent fallback 放入同一可测试 runtime。
分歧与变化
mock-wda 的串行 main-queue 契约与 pinned WebDriverAgent 对齐,但不能证明所有真机、iOS 版本、签名配置和系统弹窗都保持同样语义。
相关页面
- 概念:Computer-Use Agent、Execution-Based Agent Evaluation
- 实体:Looktap、ESP32 iPhone Agent、Galaxy Use
- 主题:Browser and Computer-Use Agents
来源
待核实问题
- 需补 GitHub CI,并在真实 iPhone/iPad 上验证 action queue、lost-answer recovery、secure apps、system prompts、paste 与 fallback hardware。