摘要
Agent RL Environment 是 Agent 可作用其上、产生反馈并被判分的有状态系统。它不同于单纯的容器，也不同于驱动工具循环的 harness；是否真正进行 Agentic RL 还取决于训练器是否用交互结果更新策略。（来源：The ultimate guide to multi-harness RL，The basics）
核心内容
定义
环境承担状态、动作后的转换、观察与 reward；任务、工具、执行后端、终止条件等组成可执行契约。harness 负责把观察组织为上下文并运行 Agent，sandbox 提供隔离执行场所，trainer 采样、计分并更新参数。（来源：The ultimate guide to multi-harness RL，What are RL environments / How the framework works）
关键要点
- 白盒/黑盒在此按“谁拥有 rollout 循环”区分：白盒由 trainer 驱动
step，黑盒由原生 harness 驱动。是否压缩上下文是另一维度，不应混为同一个定义。（来源：The ultimate guide to multi-harness RL，White-box vs black-box） - 环境只返回结果文本与 reward 不足以兑现本路线的训练契约：还需实际采样 token、对应行为概率、mask，以及捕获对账。端点不满足条件时应明确降为评测，而非输出伪训练数据。（来源：The ultimate guide to multi-harness RL，机制与训练契约）
- 综合为工程检查项：固定初始状态与版本；划清 Agent 可见信息和 verifier；显式区分任务答错、执行失败和不可判分；保持训练与评测预算一致。仅保存成功案例不满足这些检查项。（综合：The ultimate guide to multi-harness RL，负结果 / 待核实问题）
适用范围与边界
可用于训练、评测和轨迹生成，但三者不可互换。比如有环境 reward 的固定模型评测仍属于 Execution-Based Agent Evaluation，而非自动构成参数学习。本资料实际实验是 coding/data-analysis 任务，真实 CUA 适用性待核实。（来源：The ultimate guide to multi-harness RL）
分歧与演变
Harbor 将 sandbox backend 称为 environment，文章则以 environment 指 OpenEnv 服务，并用 sandbox 指执行箱。文档与实验比较必须显式说明所指层次。（来源：The ultimate guide to multi-harness RL，Harbor / 版本分歧）
相关页面
- 上位概念：Agentic RL
- 相关概念：Multi-Harness RL、Harness Engineering、Execution-Based Agent Evaluation
- 相关实体：OpenEnv、Harbor
- 相关主题：Agent Harness 与 Agentic RL 开源生态
来源
待核实问题
- 应用到真实浏览器与桌面时，登录态、远端状态重置、动作副作用和权限判分需另行验证。