摘要
SPEEDRUNBENCH 用视频游戏速通衡量 LLM Agent 在完成任务之后继续缩短执行轨迹的能力。它同时提供逐帧截图到控制器动作的 ONLINE computer-use，以及反复编辑、回放完整动作轨迹的 OFFLINE-SCRATCH/SEED 设置；确定性环境、帧数 scorer 和人类世界纪录让成功率之外的长程一致性、路线发现和预算效率可被比较。（来源：原始论文记录（本地存档），pp.3-6）
核心内容
- 观察、动作与环境：ONLINE 以当前游戏截图为观察，输出下一控制器动作或短动作段；OFFLINE 以 frame-indexed 完整轨迹为动作对象，环境回放后返回是否完成、完成帧数或最大进度。九个游戏覆盖平台、RPG、赛车、策略和浏览器谜题。（来源：原始论文记录（本地存档），pp.3-6；Table 1）
- 成功率之外的分辨率：Pokemon ONLINE 中三个模型都能拿到第一枚徽章，但 Opus 5 的 160,021 帧仍约为人类记录 40,435 帧的 4 倍，Grok 4.6 则接近 12 倍；二元完成指标无法区分这类差距。（来源：原始论文记录（本地存档），pp.6-7；Figure 4a）
- seed 路径依赖：SuperTux 的 scratch 轨迹为 1,918-2,432 帧，同模型从 9,498 帧 seed 出发却只到 8,412-9,428 帧。给定可行解并不必然帮助优化，反而可能把搜索锁在慢路线附近。（来源：原始论文记录（本地存档），p.7；Table 2）
- scorer 预算决定结果：每轮最多评估 200 条候选后，DeepSeek-V4-Pro 的 SuperTux 结果距世界纪录约 7%；GLM 5.2 的 Super Mario Land 结果距纪录约 3%，但代价是约 220,000 条轨迹和 114 小时。（来源：原始论文记录（本地存档），pp.8-9；Figure 6；Table 3）
- 训练与自改进边界：循环只在推理时保存最佳轨迹与尝试记录，没有 RL 参数更新，因此不是严格 Agentic RL；更新没有跨任务持久化，也没有改进 improver 本身，因此不构成严格 RSI。（综合：原始论文记录（本地存档），pp.5、9-10）
相关页面
- 概念：Computer-Use Agent、Execution-Based Agent Evaluation、Autoresearch、Agentic RL
- 实体：SPEEDRUNBENCH
- 主题：Browser and Computer-Use Agents
来源
- 原始文件：原始资料（本地存档）
- alphaXiv：https://www.alphaxiv.org/abs/2610.speedrunbench-llm-agents-speedrunning
- 代码：https://github.com/patronus-ai/speedrun_bench
- 定位信息：pp.3-10；Table 1-3；Figures 4-8；Appendix A.2，pp.25-26
待核实问题
- 传统数字 arXiv ID、论文许可、同行评审与正式出版状态。
- 主要结果缺少广泛多随机种子方差，本知识库未独立运行模型、游戏或完整 benchmark。
- 关联代码仓库截至 2026-10-04 未声明仓库级许可证或可见 CI，商业游戏资产也不会随公开材料分发。