摘要
AutoGuardrails 是把 Karpathy 式闭环用于 guardrail policy 的受控示例，以攻击成功率和 benign-pass 下限共同决定接受。
核心内容
基本信息
- 实体类别：alignment/guardrail autoresearch scaffold。
- 关键名称或版本：v0.1.0；Apache-2.0。
- 时间范围：2026-06-15 创建；2026-09-01 推送；2026-09-03 核实。
重要事实
- 可编辑面收窄为
policy.md，冻结评估器并固定时间预算；候选只有在攻击成功率下降且 benign pass 不下降超过 2 个百分点时才保留。（来源：Autoresearch GitHub 开源生态审计） - 核实时为 130 stars，仓库包含测试、CI、CodeQL、SBOM、依赖与许可证检查；真实模型实验需要 OpenAI-compatible target 与 judge endpoint。（来源：Autoresearch GitHub 开源生态审计）
关系与影响
它是 Autoresearch 中“主指标加不可退化约束”的清晰工程样例，也说明接受门不能只追一个容易通过极端策略优化的数值。
分歧与变化
固定 judge 保证轮次可比，却不保证 judge 无偏；单一 guardrail 任务也不能外推到开放科研。
相关页面
- 概念：Autoresearch、Execution-Based Agent Evaluation、Harness Optimization
- 实体：Anti-Autoresearch、EurekAgent
- 主题：Autoresearch 开源生态、AI Agent Failure Analysis
来源
待核实问题
- 需要人类一致性、跨 judge 和 hidden attack set 评测来排除 evaluator-specific overfitting。