摘要
AutoTrack 是跨 macOS、Windows 与 Linux 的 computer-use trajectory recorder,把输入事件、动作目标、截图、OCR 与 browser context 打包为训练数据并上传到私有 S3。(来源:2026-10-14 CUA 开源项目审计)
核心内容
基本信息
- 实体类别:CUA trajectory/data collection infrastructure。
- 关键名称或版本:0.3.0;PolyForm-Strict-1.0.0。
- 时间范围:2026-10-14 首次公开。
重要事实
- secure/password fields 不保存 typed text,常见 card/API key/JWT/random-string patterns 会 redacted;pause 与 lock screen 时不记录。(来源:2026-10-14 CUA 开源项目审计)
- 0.3.0 加入 signed update manifest、staged self-test、三次启动失败 rollback 与 heartbeat;截止 commit 的三 OS CI/E2E、bundle 与 installer jobs 均成功。(来源:2026-10-14 CUA 开源项目审计)
- Linux Wayland 只提供部分 input/app visibility;完整路径要求 Xorg,OCR 还依赖 Tesseract。(来源:2026-10-14 CUA 开源项目审计)
关系与影响
它为 Computer-Use Agent 的 BC/SFT/Agentic RL 提供真实人类轨迹原料,但本身不训练 policy。
分歧与变化
规则脱敏只能识别已知文本模式;截图、OCR、accessible names 和页面属性仍可能包含未被规则捕捉的敏感内容。(来源:2026-10-14 CUA 开源项目审计)
相关页面
- 概念:Computer-Use Agent、Agentic RL、Execution-Based Agent Evaluation
- 实体:Work2Skill
- 主题:Browser and Computer-Use Agents
来源
待核实问题
- 需审计真实长期数据中的 screenshot/OCR 泄漏率、S3 key 权限与删除/保留语义。