摘要

MinigamesBenchmark 是 Apache-2.0 的纯像素 computer-use benchmark,用 70 个可确定性重放的短游戏测试视觉理解、鼠标键盘控制和不同实时压力下的执行能力。(来源:2026-10-06 CUA 开源项目审计)

核心内容

基本信息

  • 实体类别:CUA 评测环境与 runner。
  • 关键名称或版本:初始提交 8345817;Rust engine、Python runner、WebAssembly 与容器镜像。
  • 时间范围:2026-10-06 首次公开并核实。

重要事实

  • 每个 episode 只向 Agent 暴露 640x480 screenshot 与 mouse/keyboard actions;同一批游戏分别以 tick-step 和三种 real-time clock 速度运行。(来源:2026-10-06 CUA 开源项目审计)
  • 终局按是否在三分钟内完成计一分,时间单独报告;种子、输入记录与 replay 用于检查确定性,而不是强制匹配唯一参考轨迹。(来源:2026-10-06 CUA 开源项目审计)
  • 精确提交的 Rust、Python 与 container CI 均成功;本地 Rust 1.87 因语言/标准库版本不足而未编译通过,未运行模型基线。(来源:2026-10-06 CUA 开源项目审计)

关系与影响

它把 Execution-Based Agent Evaluation 从开放桌面工作流收缩为大量短、可重放、动作密集的微环境,可用于定位 grounding、键鼠时序和实时控制问题,也可作为后续 Agentic RL 环境;项目本身没有做 policy update。

分歧与变化

容器隔离并不自动消除投机路径:Agent 仍可能覆盖或关闭游戏窗口,项目要求非预期玩法的得分不算,但尚未给出自动 anti-cheat verifier。(来源:2026-10-06 CUA 开源项目审计)

相关页面

来源

待核实问题

  • 固定模型基线、多 seed 方差、容器 anti-cheat 与跨硬件节奏一致性仍待验证。