摘要
TraceForge 不尝试偷取闭源 teacher 的隐藏思维，而是保留 teacher 的答案，再让 student 同模型家族的 generator 补写一条“family-native”推理轨迹。generator 先做监督重建，再用辨别轨迹真伪的 critic 生成 DPO preference；最终 student 仍通过 SFT 学习这些轨迹。（来源：原始资料（本地存档），§2-3）
核心内容
- generator 从约 10,000 条 Qwen3.8-Max 对话学习
P(R | S,U,A,T)；answer 留在条件里，loss 只落在 reasoning trace。随后进行五轮在线 generator/critic co-training，每轮生成 5,000 条轨迹，critic 还可做 best-of-four 选择。（来源：原始资料（本地存档），§2） - 下游统一从 Qwen3.5-9B-Base 全参数 SFT，使用八张 H20、约 1,600 个 packed-batch updates。训练池为 5,000 条保密 Claude Code trajectories，最长 256K context，每个结果 cell 只有一次 run。（来源：原始资料（本地存档），§3.1、Table 1）
- 固定 Fable 5 的题目和答案、只替换 trace 后，HumanEval+ 从 64.63 升至 68.29，MBPP+ 从 52.38 升至 59.52；三个通识 benchmark 基本持平。（来源：原始资料（本地存档），Table 1）
- 固定 GPT-6.1-SOL 答案时，family-native trace 得到 59.15 / 60.05，TraceInversion 为 3.66 / 6.61；但 Qwen-Max 与 TraceInversion 后期出现重复和 dead loop，且只有单 seed、单 run。（来源：原始资料（本地存档），Tables 1-2）
- critic 优化的是“像不像本家轨迹”，不是代码正确性或环境 task success。该方法属于监督蒸馏加 DPO，不是严格 Agentic RL，也没有形成 Recursive Self-Improvement。（来源：原始资料（本地存档），§2.4、§5）
相关页面
- 概念：Reasoning Trace Distillation、Agentic RL、Recursive Self-Improvement
- 实体：TraceForge
- 主题：LLM Agent Self-Improvement
来源
- 原始文件：原始资料（本地存档）
- 定位信息：pp. 1-7；Sections 2-5；Tables 1-2。
待核实问题
- v2 正文和 arXiv 摘要写 5,000 条训练问题/轨迹，但 alphaXiv 渲染的 PDF 首屏摘要仍写 3,500；需作者澄清版本差异。
- 数据保密且未见公开代码、checkpoint 或复现包；需在不同 student family、多个 seeds 和公开数据上验证“family-native”解释。