论文 / arXiv:2610.25060
策略不等于能力:某些安全基准衡量的是你训练时采用的
Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On
Vahid Jebraeeli, Jonathon Romero, Yijin Wang, Adrian Chan, Jianbang Zhang·2026-10-18·cs.LG cs.AI cs.CL cs.CR相关度 4.5
Accepted as a poster at the NeurIPS 2026 Workshop TAE (Trust-AI-Eval): Can We Trust AI Evaluation?, Sydney. 20 pages, 5 figures
⚡ 一句话总结 AI 生成 · 以原文为准
同一架构仅因训练标签策略不同,安全基准得分即可跨越全区间,说明其衡量的是策略而非能力。
关键结论
- 污染:Jailbench-benign 有 88%、OR-Bench-hard 有 82% 出现在护栏自身的训练池中。
- 在架构与优化器固定的情况下,十个分支在 HarmBench-copyright 上的极差为 0.99,在 WildGuard-benign 上为 0.043,相差 23 倍。
- 仅改动 0.03% 的参数即可使得分跨越整个区间(HarmBench-copyright 0-100;OR-Bench-hard 过度拒绝 3.4-56.4%,精确秩 p=0.005),且检测能力不变。
📄 摘要AI 生成 · 以原文为准
护栏分类器的结果常被报告得好像
💬 讨论 0
发帖 →还没有讨论，来发起第一个吧。
每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。