摘要
SPEEDRUNBENCH 是一个以视频游戏速通为任务的 LLM Agent 基准，用连续帧数而不只是任务是否完成来衡量 screenshot computer-use、长程路线构造和反复轨迹优化。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning）
核心内容
基本信息
- 实体类别：Computer-use 与长程 Agent 评测基准。
- 关键名称或版本：SPEEDRUNBENCH v1 预印本；9 个游戏、ONLINE 与两种 OFFLINE 设置。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning）
- 时间范围：alphaXiv 首次发布日期 2026-10-03。
重要事实
- ONLINE 从截图预测下一动作或短动作段，直接测量视觉状态理解与实时控制；OFFLINE 则编辑整条 frame-indexed 轨迹并通过确定性回放判分。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning，pp.3-5）
- 默认预算下没有模型达到人类世界纪录，最佳跨游戏平均仍慢于纪录 2 倍以上；提高 scorer 调用预算能让短平台游戏接近纪录，但代价可达约 220,000 条轨迹和 114 小时。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning，pp.7-10）
- 基准中的反复改轨迹是 inference-time search，不更新模型参数，也不形成跨任务持久自改进。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning）
关系与影响
它把 Execution-Based Agent Evaluation 从“是否完成”扩展为“完成得多快”，并为 Computer-Use Agent 的长程一致性、恢复和预算敏感性提供连续分数。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning）
分歧与变化
ONLINE 与 OFFLINE 测量对象不同：OFFLINE 不要求视觉输入，因此离线速通结果不能直接当作 GUI grounding 分数。商业游戏资产不公开，也限制了完整环境的一键复现。（来源：SPEEDRUNBENCH: Challenging LLM Agents With Video Game Speedrunning）
相关页面
- 概念：Computer-Use Agent、Execution-Based Agent Evaluation、Autoresearch
- 实体：无
- 主题：Browser and Computer-Use Agents
来源
待核实问题
- 论文正式出版、许可证、公开环境完整性与第三方复现状态。