摘要

FACET 面向 terminal Agent 的可执行监督构建,核心不是直接生成一条 instruction,而是先从相关 skills 重建场景与工作流,再在真实实现的 container state 上协调 instruction、reference solution 和 verifier,最后通过干净容器中的执行验证与定向修复筛选任务。(来源:原始论文记录(本地存档),§2.2-2.4,pp.3-6)

核心内容

方法与验证边界

  • FACET 的三阶段 pipeline 将 source-intent preservation、scenario reconstruction 与 executable-state grounding 结合起来;环境、solution 和 verifier 共享已实现状态,减少跨 artifact 漂移。(来源:原始论文记录(本地存档),§2.3-2.4,pp.3-6)
  • 验证器不是只检查文本答案:任务必须能构建环境、在初始状态不通过 verifier、执行 reference solution,并在目标状态通过 verifier;失败由执行 trace 路由到具体 artifact,任务级修复最多五轮。(来源:原始论文记录(本地存档),Algorithm 1 / Appendix C.2,pp.4-6, 20)
  • 构建漏斗从 7,852 个 seeds 得到 6,078 个 validated tasks;环境修复最多三轮,任务修复最多五轮。(来源:原始论文记录(本地存档),Appendix A.4 / C.2,pp.16, 20)

监督与结果

  • 论文用 Terminus-2 / DeepSeek-V4-Pro 在约 6K 任务上生成 rollout,筛选 1.2K 条完整成功轨迹,对 Qwen3.5-4B、9B、27B 做 SFT;这不是基于环境回报更新 policy 的严格 Agentic RL。(来源:原始论文记录(本地存档),§3.1、Appendix D,pp.6, 20-21)
  • Terminal-Bench 2.1 得分分别从 17.60/27.34/40.82 提升到 24.72/35.58/47.57;对应绝对增益为 +7.12/+8.24/+6.75。(来源:原始论文记录(本地存档),Table 2,p.8)
  • FACET 任务平均 11.86 turns、22.77 executable tests,P@1/P@3 为 27.00/35.00;更密集的检查点提高了任务验证强度,也使端到端 pass rate 较低。(来源:原始论文记录(本地存档),Table 1 / §3.2,pp.6-8)

与 Harness Engineering 的关系

  • FACET 证明了可执行环境状态和 artifact-level verifier 可以成为 harness/task construction 的共享事实层;它还提供了从失败 trace 到具体 artifact 的有限修复路由。(来源:原始论文记录(本地存档),§2.4,pp.5-6)
  • 它不应被写成持久 harness 自进化或 RSI:修复发生在单个任务构建流程内,模型更新是 SFT,论文把 RL 与 continued improvement 留作未来工作。(来源:原始论文记录(本地存档),§5,p.10)

相关页面

来源

待核实问题

  • 已核实(2026-08-28):作者项目页已公开代码预览、6,020 个任务的数据集及 4B/9B/27B checkpoints;代码、数据和已检查的模型卡均标注 Apache-2.0。论文仍为 arXiv v1。(项目页GitHub
  • 口径说明:论文构建漏斗的 6,078 是研究中验证通过的任务数,公开数据集为 6,020;两者不可混写。
  • 仍待独立复现:公开的是 code preview,且本知识库没有重跑任务生成、SFT 或 Terminal-Bench 2.1;论文数值和全部数据 provenance 仍需第三方验证。
  • 仍待跟踪:后续修订与同行评审状态。