Agent Harness 与 Agentic RL 开源生态

摘要

过去的每日调研显示，Agent 工程项目不能只按“是否叫 autoresearch”组织。完整生态至少包含通用 harness、自动 harness 优化、Agentic RL 训练与 rollout、browser/computer-use 环境、科研 runtime 和证据审核层；这些层的更新对象、验证方式和安全边界不同。（综合：本页来源）

核心内容

准入门槛

• 当前不设 GitHub stars 下限；准入要求真实代码或可执行协议、精确日期与足以形成长期知识的测试/CI、可复现性、安全、许可证或维护证据。
• 机械 verifier、权限边界、测试/CI、可恢复状态、训练/推理一致性和负结果，比项目热度更能说明工程质量。
• 历史会话中已经验证但未越过门槛的项目继续保留在来源审计的观察清单中，不为凑数量建立实体页。（来源：历史会话中的 Agent 工程开源项目回溯）

生态分层

层次	代表项目	更新或控制对象	不能推出的结论
通用 Agent harness	[[wiki/entities/Codex	Codex]]、[[wiki/entities/DeepSeek Harness	DeepSeek Harness]]、[[wiki/entities/Hermes Agent
自动 harness 优化	[[wiki/entities/AutoSaddler	AutoSaddler]]、[[wiki/entities/Recuris	Recuris]]、[[wiki/entities/StarHarness
Agentic RL 训练	[[wiki/entities/prime-rl	prime-rl]]、[[wiki/entities/RLinf	RLinf]]、[[wiki/entities/LoongSage
Rollout inference	[[wiki/entities/qwen3-runtime	qwen3-runtime]]	tool call 之间的 KV、session、sampling 与 trajectory cost
Browser/computer-use 环境	[[wiki/entities/Cua	Cua]]、[[wiki/entities/OpenCLI	OpenCLI]]、[[wiki/entities/BrowserSkill
推理时 harness 原语	[[wiki/entities/Speculative Programmatic Tool Calling	Speculative Programmatic Tool Calling]]	纯工具调用的提前执行与并发
自动研究	[[wiki/topics/Autoresearch 开源生态	Autoresearch 开源生态]]	研究问题、实验、评估、证据与写作闭环

综合判断

• “Agentic”首先描述交互结构，不自动说明训练方法。判断 Agentic RL 必须找到 policy update、reward、rollout 和优化目标。（来源：历史会话中的 Agent 工程开源项目回溯）
• “self-improving”也必须拆开看：Hermes Agent 和 Prime Agent 主要更新外部 memory/skill/harness state，AutoSaddler 修改 harness code，prime-rl 与 RLinf 才提供模型参数训练层。（综合：本页来源）
• Browser/computer-use 项目的关键价值是可控环境、权限和可重放轨迹。若窗口授权、登录态、输入注入、网络访问和 evaluator 不独立，环境规模本身不会带来可信结果。（综合：历史会话中的 Agent 工程开源项目回溯）
• Agent skill 需要按“可组合但会冲突的复制式依赖”治理：One Skill Too Many 发现相似 skill 会隐性替代目标流程，Skill Constellations 则发现副本很少一致跟随上游更新；因此 lockfile、来源披露、冲突检测和版本引用比单纯扩大 skill library 更重要。（综合：One Skill Too Many: How Co-Installed Skills Conflict in Coding Agents、Skill Constellations: Tracing the Supply Chain of Agent Skills on GitHub）
• 持续更新的 harness 需要把评测证据本身纳入版本治理：Contamination Clock 追踪完整 system snapshot、score provenance 与 reuse closure；Sandbox Studio 则把外向网络、git、browser 与 secret 动作留在 host approval 边界。前者尚未在生产 CUA 验证，后者的 browser broker 仍是计划项。（综合：The Contamination Clock: Evaluation Validity as Runtime State in Adaptive AI Systems、2026-10-09 CUA 开源项目审计）
• Midscene 当日把模型 streaming/调用记录和 SIWC token lifecycle 接入现有 browser/computer-use harness，说明认证与模型 I/O 也是执行可靠性的一部分；但本地凭据文件、混合 CI 和未完成的真实 GUI E2E 必须与功能实现同时记录。（来源：2026-10-09 Midscene 更新审计）
• 同一类 desktop/browser plugin 可以选择完全相反的控制面：DSH Computer Use Fusion 明确删除 approval/freshness/ownership 以支持 persistent batch execution，Handbrake 与 SideGate 则把风险分类、确认和副作用验证外置。比较 harness 时必须把吞吐、目标绑定、人工接管和可逆性分别计账。（来源：2026-10-10 CUA 开源项目审计）
• Heliox OS 展示一种保守的长程 harness：任务状态可跨 daemon restart 保存，但继续执行必须人工 Resume、重新观察并重走 gateway/approval；world-model/Gnomon review 只能收紧计划，不能授权。这是 runtime state 与 safety gating，不是 policy update 或 RSI。（来源：2026-10-11 CUA 开源项目审计）
• Cua Driver Bench v2 把 harness 比较所需的 task provenance、failure fixture、evaluator、telemetry 和 CI 公开出来；它可承载 rollout 和 Agent arm，却不因具备这些接口而自动属于严格 Agentic RL。（来源：2026-10-11 CUA 开源项目审计）
• Reward Placebo Trial 说明 reward/verifier 研究需要 placebo arm：同一模型、任务流和 optimizer 下，格式 compliance reward 与 execution correctness reward 可以产生相反的 transfer 结果。它是严格 Agentic RL，但不是 RSI，也没有直接 CUA 结果。（来源：Does the Reward Matter? A Placebo Trial for Zero-Data Self-Play）
• Personal Agent Computer、AutoTrack、TaskKit Windows Computer Bridge 与 DSH Paseo Server 分别补齐 VM/credential boundary、trajectory collection、fresh-target/owner-stop 和 E2EE remote harness surface；它们都是执行或数据基础设施，不因能承载 Agent loop 就属于 policy RL。（来源：2026-10-14 CUA 开源项目审计）
• Screens 与 macOS Harness 展示 CUA harness 的控制面不能只看“支持后台动作”：前者把桌面、网络、文件和接管权隔离到每个 Agent，后者 v0.2.1 为后台持续运行删除 person-side stop；二者都没有 policy update，因此不是 Agentic RL 或 RSI。（来源：2026-10-15 CUA 开源项目审计）
• MarkForge、DSH Computer Use、Duet 与 Looktap 把 grounding、approval、input receipt、跨 actor evidence 和移动设备接入做成 runtime contract；它们能改进 CUA rollout 的可审计性，但都没有 policy parameter update，因此不是严格 Agentic RL 或 RSI。（来源：2026-10-16 CUA 开源项目审计）
• LJL454 DSH Computer Use、Magpie Computer Use、iPhone Use Rust 与 NexusAndroid 进一步展示 harness adapter、session grant、lost-answer reconciliation 和 mobile safeguard policy；它们可改进 rollout 的可控性与证据质量，但没有更新 policy 参数，不是严格 Agentic RL 或 RSI。（来源：2026-10-18 CUA 开源项目审计）
• AtMem Learned Memory Formation 是 learned harness control 的负结果：RLCD/soft-CE selector 虽改善离线 agreement，却在 sealed replay 对 25 个 required-store 全部拒绝并带来 validator/latency 问题，因此作者保留 deterministic baseline。它没有环境 reward 驱动的 policy update，不属于严格 Agentic RL 或 RSI。（来源：Negative Learned Memory Formation: Not Worth Deploying Just for Offline Gain in AtMem）
• OpenGCUA、DeepGym、itda CLI 与 OpenAI CUA Sample App 分别扩展 desktop runtime、computer-agent evaluation、typed API control 和 browser example；System1 Agents 则补离线 evidence consumer。共同价值是把 session、预算、write settling、approval、origin 与证据层显式化，而不是证明模型自我改进。（来源：2026-10-19 CUA 开源项目审计）
• Reward Description Training Study 是严格 Agentic RL 的 reward-audit 正例：错配 reward 真正更新 policy，却让输出行为与 CoT 叙述分离；其 mitigation 提高 monitorability 而没有消除 hacking，因此 reward repair 与 monitor repair 不能合并成一个指标。（来源：Reward Misspecification Degrades Chain-of-Thought Monitorability）
• Vigil、SolveBind、Tandem、DSH PC Use、Rust Computer Use 与 DSH Desktop Agent Bridge 展示模型外 verification、receipt、approval 和 takeover 的多种落点；六者都没有 policy parameter update，不能因为服务 Agent loop 就归为 Agentic RL 或 RSI。（来源：2026-10-20 CUA 开源项目审计）
• Meta2 离线学习文本 Meta-Skill、在线编辑当前 run，但模型参数与部署期 Meta-Skill 均冻结；它属于 harness evolution，不是严格 Agentic RL，也没有 improver recursion。（来源：Meta2: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents）
• SIConnect、Root Driver、HyzeVM、Layershot 与 Private Agent Desktop 都是 CUA runtime/control infrastructure；它们分别证明 policy、共享 OS authority、VM、background action 与 compositor isolation，不能因为可承载 rollout 就标为 policy training。（来源：2026-10-21 CUA 开源项目审计）
• LBYL 的 correction policy 是当天唯一保留的严格 Agentic RL；BrowserSkill、Clawd Cursor、iPhone Use 与 DSH Android Use 是 CUA runtime，Agent TraceCheck 与 Agent-Sandbox 是 trajectory/deployment infrastructure。只有第一项更新 policy，且也不构成 RSI。（来源：2026-10-22 CUA 开源项目审计）
• Nenya 用 evidence gate、跨代 retention、frozen-copy 和 held-out transfer 构成持久 harness 自进化；它明确没有 weight update，因此不是严格 Agentic RL。当天的 Cua、BrowserSkill、OpenGCUA、Phone Use 与 Open iPhone Use 则都属于 CUA runtime/control infrastructure。（综合：AI-Run Research on Nenya Discovers the Headroom Law, Recursively Improves Its Own Harnesses, and Sets 325 Mathematical Records、2026-10-23 CUA Project Audit）

原生 Harness 的训练接口

OpenEnv 与 Harbor 在本次指定文章中补充了“环境/任务 + 捕获 + trainer”的分层：已有 Agent 保持执行循环，捕获层给出可训练 token/logprob/mask 契约，训练器更新 policy。这不是另一个自动修改 harness 的项目，也不能凭工具接入就称为 RSI。（来源：The ultimate guide to multi-harness RL）

综合：生态比较应分别核对四个问题：环境能否可靠重置与判分、捕获能否忠实、参数是否实际更新、未触碰测试是否改善。作者报告的小模型实验不能替代通用工程成熟度或真实 CUA 验收。（来源：The ultimate guide to multi-harness RL）

相关页面

• 概念：Harness Engineering、Harness Optimization、Self-Improving Harness、Recursive Self-Improvement、Agentic RL、Execution-Based Agent Evaluation、Browser-Use Agent、Computer-Use Agent、Autoresearch
• 实体：Codex、DeepSeek Harness、Hermes Agent、Prime Agent、AutoSaddler、prime-rl、RLinf、LoongSage、qwen3-runtime、Nenya、Cua、OpenGCUA、Phone Use、Open iPhone Use、DeepGym、itda CLI、OpenAI CUA Sample App、System1 Agents、AtMem Learned Memory Formation、Screens、macOS Harness、MarkForge、DSH Computer Use、Duet、Looktap、LJL454 DSH Computer Use、Magpie Computer Use、iPhone Use Rust、NexusAndroid、Reward Placebo Trial、Personal Agent Computer、AutoTrack、TaskKit Windows Computer Bridge、DSH Paseo Server、Heliox OS、OpenCLI、BrowserSkill、One Skill Too Many、Skill Constellations、Contamination Clock、Sandbox Studio、Midscene、Sidescreen、Phone Use Page、DSH Computer Use Fusion、Handbrake、SideGate、Clawd Cursor、iPhone Use、DSH Android Use、LBYL、Agent TraceCheck、Agent-Sandbox、Speculative Programmatic Tool Calling
• 主题：LLM Agent Self-Improvement、Browser and Computer-Use Agents、Autoresearch 开源生态
• 环境与训练接口：Agent RL Environment、Multi-Harness RL、OpenEnv、Harbor

来源

• AI-Run Research on Nenya Discovers the Headroom Law, Recursively Improves Its Own Harnesses, and Sets 325 Mathematical Records

• 2026-10-23 CUA Project Audit

• 历史会话中的 Agent 工程开源项目回溯

• Autoresearch GitHub 开源生态审计

• AI Scientist GitHub 开源项目回溯

• The ultimate guide to multi-harness RL

• One Skill Too Many: How Co-Installed Skills Conflict in Coding Agents

• Skill Constellations: Tracing the Supply Chain of Agent Skills on GitHub

• The Contamination Clock: Evaluation Validity as Runtime State in Adaptive AI Systems

• 2026-10-09 CUA 开源项目审计

• 2026-10-09 Midscene 更新审计

• 2026-10-10 CUA 开源项目审计

• 2026-10-11 CUA 开源项目审计

• Does the Reward Matter? A Placebo Trial for Zero-Data Self-Play

• 2026-10-14 CUA 开源项目审计

• 2026-10-15 CUA 开源项目审计

• 2026-10-16 CUA 开源项目审计

• 2026-10-18 CUA 开源项目审计

• Negative Learned Memory Formation: Not Worth Deploying Just for Offline Gain in AtMem

• 2026-10-19 CUA 开源项目审计

• Reward Misspecification Degrades Chain-of-Thought Monitorability

• 2026-10-20 CUA 开源项目审计

• Meta2: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents

• 2026-10-21 CUA 开源项目审计

• 2026-10-22 CUA 开源项目审计

待核实问题

• 开源项目仍缺共享的 harness/rollout/evaluator 版本锁定与成本口径，当前 stars 和自报 benchmark 不能形成统一排名。