摘要

HealthEnv 把纵向健康 QA 编译成有状态浏览器工作台、动作契约和确定性 verifier,用于研究可执行 QA 是否能形成 CUA 环境与可靠 reward。(来源:2026-10-12 CUA 开源项目审计)

核心内容

基本信息

  • 实体类别:CUA 环境合成、跨 harness 评测与 verifier 基础设施。
  • 关键名称或版本:HealthEnv 0.3.0;Apache-2.0;Python 3.11+、runtime 无外部依赖。
  • 时间范围:2026-10-12 创建;截止 bdde7886234f420424f30531c8dfa55444fd289d。

重要事实

  • LLM 只能改写任务说明,不能定义 gold 或 verifier;被测 Agent 看不到 verify endpoint,submit 不返回 correctness,源记录只读。(来源:2026-10-12 CUA 开源项目审计)
  • 项目方报告 1,200 个环境及 oracle/negative/headless-browser 全通过,但只有 86 个结构骨架;这证明 plumbing,不证明医疗真实性或 CUA 能力。(来源:2026-10-12 CUA 开源项目审计)
  • 本轮在 cutoff 源码上独立跑过 55 个测试与 3-task demo,分别 55/55、3/3 positive 和 3/3 negative;首次沙箱失败来自 loopback EPERM,非产品断言失败。(来源:2026-10-12 CUA 开源项目审计)

关系与影响

HealthEnv 是 Execution-Based Agent Evaluation 与 Agent RL Environment 的垂直实例;它可生成轨迹与 reward,但当前没有用交互轨迹更新 policy,因此不是严格 Agentic RL。

分歧与变化

作者的 pi/Codex/dsh 12-task 对比是小样本项目方报告,且受单一模型、Windows adapter patch 和工具传输细节影响;不能当作一般 harness 排名。(来源:2026-10-12 CUA 开源项目审计)

相关页面

来源

待核实问题

  • 需验证真实医疗软件迁移、adversarial policy 下 verifier validity、结构多样性与环境合成对 CUA training 的实际收益。