GUI Agent Efficiency

摘要

GUI Agent Efficiency 关注 GUI 智能体在完成任务时消耗多少上下文、算力、动作预算、内存和端到端时间。它要求把任务成功与资源效率分别报告，并核算观察、记忆、动作、规划器和外围运行时之间的成本转移。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization）

核心内容

定义

一次 GUI 执行可以拆成观察与解析、上下文或记忆更新、规划与 grounding、动作执行、验证与反馈。效率优化应覆盖完整轨迹，而不是只统计 next-action 模型的一次推理。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§2、Appendix A）

关键要点

• 观察：衡量 screenshot、crop、OCR、VLM、DOM/HTML/AxTree 解析调用与表示长度；剪枝后还要计入 parser 和检索开销。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§2.3、§3）
• 上下文与记忆：衡量历史长度、检索量、KV cache、内存占用、prefill 和 decode 开销；摘要丢失的信息与 retrieval 调用也是成本。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§4）
• 动作：衡量总动作、无效或重复动作、模型调用、恢复动作与任务完成时间。验证和回滚即使增加局部步骤，也可能降低不可逆失败的总成本。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§5）
• 规划器与系统：衡量推理深度、反思频率、模型与后端路由、GUI/代码切换、本地/云分工、隐私暴露、GPU-hours 和端到端费用。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§6-7）

适用范围与边界

该概念适用于网页、移动设备和桌面 GUI 智能体，也适用于 benchmark、推理 runtime 和产品部署。不同系统只有在任务、成功判定、模型、硬件、缓存、动作预算和隐私边界一致时，效率数字才适合直接比较。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§7、Appendix D）

分歧与演变

当前文献经常只报告局部 token、FLOPs、动作或模块延迟的节省，却不报告新增 parser、verifier、retriever、回滚与编排成本。更稳妥的方向是建立按成功归一化的端到端资源账本，并同时保留失败与恢复成本。（来源：Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization，§7）

相关页面

• 上位概念：Computer-Use Agent
• 相关概念：Browser-Use Agent、Execution-Based Agent Evaluation、Context Engineering
• 相关实体：WebArena、OSWorld
• 相关主题：Browser and Computer-Use Agents

来源

• Efficient GUI Agents: A Systems Survey of Observation, Memory, Action, and Runtime Optimization

待核实问题

• 仍缺被广泛采用、能统一折算成功率、端到端延迟、GPU/内存、调用成本、动作与隐私暴露的 GUI 智能体效率协议。