COGNIT-Guard：在显式延迟与假阳性约束下、具有异构 CPU-NPU 置信级联的校准独立直接决策护栏

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 在 DUCS-Bench（N=607）上：98.85% 准确率（McNemar p = 1.19 × 10^-4），良性 FPR 0.42%（1/238），1.12% ECE，0.0104 Brier 分数。
• 在 Ascend 910C NPU 上：纯 NPU 推理平均 21.77 ms（45.90 QPS）；在线级联（θ*_deploy = 0.70）平均 41.63 ms，99.23% 准确率，0.00% FPR。
• 经验回放将 OOD 准确率恢复至 64.10%-65.05%，同时以 0.00%-0.42% FPR 达到 99.67%-99.84% 域内准确率。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

基础模型安全网关何时应生成 token，何时应直接输出校准后的决策？我们研究用于实时预摄取（pre-ingestion）安全护栏的校准独立直接决策基础模型，同时解决概率校准、双用途假阳性控制，以及显式延迟 SLO 下的异构 CPU-NPU 路由问题。预摄取护栏必须在目标 LLM prefill 之前对 prompt 进行筛查，并对良性合规咨询保持低误报；然而，浅层分类器对措辞变化脆弱，隐状态探针需与目标 LLM 耦合，生成式护栏则带来高解码延迟和双用途假阳性。我们提出 COGNIT-Guard，将一个经校准的 CPU 快速守门模型与置信度门控升级到驻留 NPU 的 322M 双向直接决策模型（Laya-322M）相耦合，并施加非对称假阳性惩罚。在干净未见的 DUCS-Bench 测试划分（N=607）上，COGNIT-Guard 达到 98.85% 准确率（相对 ML 的 McNemar p = 1.19 × 10^-4），将良性 FPR 降至 0.42%（1/238；相对 ML 的 Fisher 精确检验 p = 8.23 × 10^-4），并取得 1.12% ECE 与 0.0104 Brier 分数。在华为昇腾 Ascend 910C NPU 上，纯 NPU 推理平均延迟为 21.77 ms（45.90 QPS），而在线串行 CPU-NPU 级联（θ*_deploy = 0.70）达到 41.63 ms 平均延迟（P50：39.47 ms，99.23% 准确率，0.00% FPR）。在 SafetyBench-ZH（N=2,100）上的评估以及与双编码器直接决策基线（CLM-8B）的对比，厘清了域内收益、OOD 对齐代价（Laya 上 60.33% → 56.81%；域内 CLM-8B 为 55.10%）以及经验回放恢复——将 OOD 准确率恢复至 64.10%-65.05%，并以 0.00%-0.42% FPR 达到 99.67%-99.84% 的域内准确率。