摘要
Anti-Autoresearch 是研究产物的 reviewer-side 取证与确定性裁决工具,检查 claim、数字、引用、实验资产和 eval 设计是否一致。
核心内容
基本信息
- 实体类别:autoresearch 诚信审核工具与 Agent Skills。
- 关键名称或版本:
wanshuiyin/Anti-Autoresearch;MIT。 - 时间范围:2026-06-26 创建;2026-08-26 推送;2026-09-03 核实。
重要事实
- 46 个 verdict-bearing 模式覆盖 phantom result、错误消融归因、数据泄漏、选择性报告和 judge 有效性;13 个 AI 写作风格信号权重为零,不影响裁决。(来源:Autoresearch GitHub 开源生态审计)
- 核实时为 149 stars;仓库包含 claim ledger、artifact manifest、Schema、取证脚本、测试与成功 CI。需要代码和结果的 L2 检查不会仅凭论文文本运行。(来源:Autoresearch GitHub 开源生态审计)
关系与影响
它补足 Autoresearch 的事后证据审计,与 AutoResearchEval 的过程失败分类互补,也可作为 EvoMap AutoResearch 等 runtime 的外部 reviewer 工具。
分歧与变化
模式库是审计覆盖词表,不是经过大规模统计校准的通用造假检测器;确定性 verdict 的可靠性仍受输入 ledger 完整度限制。
相关页面
- 概念:Autoresearch、Execution-Based Agent Evaluation、Agent Failure Localization
- 实体:AutoResearchEval、Principia、EvoMap AutoResearch
- 主题:Autoresearch 开源生态、AI Agent Failure Analysis
来源
待核实问题
- 需公开标注集衡量 precision、recall、跨领域误报和不同 observability level 的覆盖率。