MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement

摘要

MiMo-V2.6 把 coding、general、visual 与 cybersecurity 的长轨迹放进同一次大规模异步 GRPO 训练，并用多 mini-harness、groupwise agentic grading、统一 trajectory 表示和 reward-hacking 防线稳定混合任务学习。它在 OSWorld-Verified 报告 82.0/80.8，但没有拆解 GUI grounding、权限确认或人在回路机制；应视为 CUA 相关的大规模 Agentic RL 与 harness 基础设施证据，而不是专门的桌面控制方法。（来源：原始资料（本地存档），pp.1-3、9-23、26）

核心内容

• 同一异步 GRPO run 每步消费 1,568 个样本与 2.7-3.7B tokens，最长 context 为 1M；Sample Mixer、partial rollout 与训练/推理一致性处理不同任务的时长、成功率和 sampler 漂移。（来源：原始资料（本地存档），pp.1、9、20-21、26-32）
• General-agent sandbox 可组合 MCP、API、CLI 与 GUI 工具，并从固定初始状态恢复；四个 task-adapted mini-harness 与 held-out production harness 的对照表明能力可跨 harness 迁移。（来源：原始资料（本地存档），pp.11、14、23）
• 作者报告 Pro/Flash 的 OSWorld-Verified 为 82.0/80.8、AutomationBench 为 53.1/52.3、Toolathlon-Verified 为 76.9/73.6；同表 frontier baselines 并未被全面超过。（来源：原始资料（本地存档），p.26，Table 3）
• Groupwise Reward Synthesis 与 Advantage Redistribution 在通过轨迹之间区分质量，另对过长成功轨迹和格式/tool-call 错误施加细粒度信号；reward hacking 防线包含环境准备、重复执行、rollout audit 与 adversarial screening。（来源：原始资料（本地存档），pp.11、14-20）
• 分类综合：属于严格 Agentic RL；不构成严格 RSI。对 Computer-Use Agent 的直接价值在于 OSWorld 验证、混合交互环境与多 harness 训练，不证明特定 screenshot/a11y grounding 或 human takeover 改善。

相关页面

• 概念：Agentic RL、Computer-Use Agent、Harness Engineering
• 实体：MiMo-V2.6、OSWorld
• 主题：Browser and Computer-Use Agents

来源

• 原始文件：原始资料（本地存档）
• alphaXiv：https://www.alphaxiv.org/abs/2609.mimo-scaling-reinforcement-learning
• 官方模型页：https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL
• 定位信息：架构与规模 pp.1-4；环境/harness/reward pp.9-20；训练与结果 pp.20-26；基础设施 pp.26-33；开源小模型 pp.33-35。

待核实问题

• 传统数字 arXiv ID、同行评审和正式出版记录待核实。
• OSWorld-Verified 与内部 benchmark 结果、跨 harness 泛化和训练稳定性尚待独立复现。
• 登录凭据隔离、敏感操作确认、人在回路接管、真实 GUI 训练占比，以及声称开放的环境/框架完整性仍待专项核查。