摘要
MinigamesBenchmark 是 Apache-2.0 的纯像素 computer-use benchmark,用 70 个可确定性重放的短游戏测试视觉理解、鼠标键盘控制和不同实时压力下的执行能力。(来源:2026-10-06 CUA 开源项目审计)
核心内容
基本信息
- 实体类别:CUA 评测环境与 runner。
- 关键名称或版本:初始提交
8345817;Rust engine、Python runner、WebAssembly 与容器镜像。 - 时间范围:2026-10-06 首次公开并核实。
重要事实
- 每个 episode 只向 Agent 暴露 640x480 screenshot 与 mouse/keyboard actions;同一批游戏分别以 tick-step 和三种 real-time clock 速度运行。(来源:2026-10-06 CUA 开源项目审计)
- 终局按是否在三分钟内完成计一分,时间单独报告;种子、输入记录与 replay 用于检查确定性,而不是强制匹配唯一参考轨迹。(来源:2026-10-06 CUA 开源项目审计)
- 精确提交的 Rust、Python 与 container CI 均成功;本地 Rust 1.87 因语言/标准库版本不足而未编译通过,未运行模型基线。(来源:2026-10-06 CUA 开源项目审计)
关系与影响
它把 Execution-Based Agent Evaluation 从开放桌面工作流收缩为大量短、可重放、动作密集的微环境,可用于定位 grounding、键鼠时序和实时控制问题,也可作为后续 Agentic RL 环境;项目本身没有做 policy update。
分歧与变化
容器隔离并不自动消除投机路径:Agent 仍可能覆盖或关闭游戏窗口,项目要求非预期玩法的得分不算,但尚未给出自动 anti-cheat verifier。(来源:2026-10-06 CUA 开源项目审计)
相关页面
- 概念:Computer-Use Agent、Execution-Based Agent Evaluation、Agentic RL
- 实体:SPEEDRUNBENCH、OSWorld
- 主题:Browser and Computer-Use Agents
来源
待核实问题
- 固定模型基线、多 seed 方差、容器 anti-cheat 与跨硬件节奏一致性仍待验证。