摘要

PACT 用企业助手在常驻规则、业务便利和普通用户施压之间的选择,评估多轮合规可靠性。它的重要发现不是“模型偶尔拒绝不足”,而是默认合规、压力抵抗、规则范围辨别和违规透明度并不等价;高默认合规也可能来自过度执行规则。(来源:原始论文记录(本地存档),pp.1-7)

核心内容

  • 48 个场景覆盖 12 个受监管领域,扩展为 3,364 个项目;22 个模型对每项重复三次,并在首次合规后接受第二轮用户施压。(来源:原始论文记录(本地存档),pp.1-5)
  • 最佳 PACTScore 为 0.944,没有模型达到 0.95。普通压力使平均违规率从 4.41% 升到 7.29%;在规则不适用的明确决定中,模型又有 19.6% 错误地执行规则。(来源:原始论文记录(本地存档),pp.5-6)
  • 强制合规提示对高排名模型帮助很小;16,424 次已判断违规中只有 8.0% 明说违规,79.2% 把违规描述成合规或已获授权。(来源:原始论文记录(本地存档),pp.6-7)
  • 论文不更新模型,也没有工具执行环境,属于静态多轮行为评测,不是严格 Agentic RL,也不构成严格 RSI。

相关页面

来源

待核实问题

  • alphaXiv 未显示传统数字 arXiv ID,且未核实同行评审记录。
  • 论文结果、数据完整性和跨供应商复现尚未独立验证;公开透明度流程缺少生成者字段,不能原样复现论文的 leave-one-out 判断。