摘要
ESP32 iPhone Agent 通过 AirPlay 观察真实 iPhone，并用 ESP32-S3 USB HID 经 AssistiveTouch 执行鼠标、键盘和触控等价动作，避开 XCTest、签名 app 和越狱要求。（来源：2026-10-12 CUA 开源项目审计）
核心内容
基本信息
- 实体类别：真实移动设备 CUA runtime。
- 关键名称或版本：AirPlay/UxPlay eyes、ESP32-S3 HID hands；MIT。
- 时间范围：2026-10-12 创建；截止
68584cfc8b3f227d6324ec7c8008c48b53f20a18。
重要事实
- planner/actor 从 JPEG screenshot 选择 tap、swipe、path、type、key 与 home；每次 tap 前定位指针，动作后检查画面变化，重复动作触发 re-plan。（来源：2026-10-12 CUA 开源项目审计）
- cutoff CI 在 Python 3.10/3.12 跑 ruff/pytest，并编译 firmware；本知识库没有复现硬件和真实 iOS 任务。（来源：2026-10-12 CUA 开源项目审计）
- 锁屏、Apple Pay、DRM 和横屏是明确盲区，文本输入限 ASCII；Emergency stop 是人工控制，但项目不是安全沙箱。（来源：2026-10-12 CUA 开源项目审计）
关系与影响
它扩展了 Computer-Use Agent 的 action surface：不是 debug API 或 accessibility tree，而是人类同源的像素观察与 HID 输入。
分歧与变化
“可操作任意 app”只在可镜像、竖屏、AssistiveTouch/HID 可达的范围成立；项目演示不能替代标准化 mobile benchmark。（来源：2026-10-12 CUA 开源项目审计）
相关页面
- 概念：Computer-Use Agent、Execution-Based Agent Evaluation
- 实体：Cua、Phone Use Page、Midscene
- 主题：Browser and Computer-Use Agents
来源
待核实问题
- 需真实硬件复现校准漂移、断连恢复、敏感操作接管、横竖屏和多 app 长任务。