摘要

这篇综述不再只问 GUI 智能体“能否完成任务”,而是把一次完整执行的资源消耗拆成观察、上下文与记忆、动作、规划器与系统四个效率轴。它将 token、延迟、模型调用、动作步数、显存、算力与成本和成功率分开核算,并特别记录被 parser、retriever、verifier、回滚或多智能体编排转移的开销。(来源:原始论文记录(本地存档),§2、§7,pp.2-8)

核心内容

  • 观察效率:DOM/AxTree 检索和剪枝、局部视觉分配及结构化解析可以显著减少输入,但局部放大、检测器和解析器可能增加轨迹步数或额外推理。论文用 RegionFocus 的 66.8% 平均轨迹开销说明“看得更少”不必然“跑得更快”。(来源:原始论文记录(本地存档),§3,pp.4-5;Table 2)
  • 上下文与记忆效率:任务摘要、主动回看、差分历史和 KV cache 压缩分别处理语义历史与服务层表示。ST-Lite 报告 2.45 倍解码加速,但端到端仅 1.40 倍且 prefill 接近不变,揭示局部加速与整体加速之间的差距。(来源:原始论文记录(本地存档),§4,pp.5-6;Table 3)
  • 动作效率:技能、shortcut、状态机、GUI/代码混合执行和候选剪枝可以减少重复规划;验证与回滚则让错误更早暴露并可恢复。高效不等于一味减少动作,而是减少无效动作和不可逆失败。(来源:原始论文记录(本地存档),§5,pp.6-7;Table 4)
  • 规划器与系统效率:OSWorld-Human 的汇总显示智能体使用人类轨迹 2.7-4.3 倍的步骤,reflection 占任务延迟的 76%-96%;因此规划深度、反思频率、后端路由、隐私分层和编排都应进入端到端账本。(来源:原始论文记录(本地存档),§6,pp.7-8;Table 5)
  • 综述的 Tables 2-5 不是 meta-analysis,而是同时记录“作者报告的效率信号”和“未报告或被转移的成本”的证据账本。跨论文数字来自不同平台、模型、任务与预算,不能直接排名。(来源:原始论文记录(本地存档),Appendix B-D,pp.13-17)
  • 这篇论文没有提出新的可执行系统,也没有进行统一复现实验;它的主要价值是提供可复用 taxonomy、指标词表和成本核算清单。它不是严格 Agentic RL,也不构成 RSI。(综合:原始论文记录(本地存档))

相关页面

来源

待核实问题

  • 接收状态(2026-09-04):arXiv comments 称已被 EMNLP 2026 的 Grounding Language Models workshop 接收,正式 proceedings 记录尚未独立确认。
  • 统一复现:综述汇总的效率数字均来自不同原论文,本知识库未在统一硬件、模型、任务和成功判定下复测。
  • 完整成本:不少工作未单列 parser、retriever、verifier、回滚、多智能体编排或 wall-clock 开销。
  • 配套材料:截至 2026-09-04,arXiv 页面未列出官方代码或数据仓库。