仅凭惊奇就会学会谎言：面向流式声明的大语言模型证据门控持续学习

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 原始模型自身的先验可将已知事实的谎言与真实新事实区分开（AUC 0.78-0.83），但无法区分合法更新（AUC 0.53），可节省 43% 的裁判调用。
• 验证者密钥裁判清除谎言的程度取决于验证器的准确性；真实 LLM 裁判会拒绝无来源真相和有来源支持的更新。
• 将矛盾声明路由到可信来源可得到最低投毒率，但当攻击者为 30% 的谎言植入匹配来源时，该系统比仅用裁判更差。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

面向大语言模型的持续学习方法日益依赖惊奇度来决定学习什么，即保留模型认为最不可预测的输入。当数据流中包含谎言时，这一规则并不安全。一个针对模型已知事实植入的虚假信息，在模型信念下的概率很低，因此在构造上就高度令人惊奇，惊奇驱动的学习器会吸收几乎全部此类谎言，其比率与同预算下的随机选择相近。我们用 LoRA 适配的学生模型（Qwen2.5-1.5B、Qwen2.5-3B 和 Llama-3.2-3B）从包含虚构人物以及真实 CounterFact 事实的真假声明流中学习，来研究这一问题。我们报告四项发现。（1）验证者密钥，即必须批准每条声明的裁判，能在其验证器准确的程度上清除谎言；真实的 LLM 裁判较为谨慎，会拒绝无来源的真相甚至有来源支持的更新。（2）在不相关知识上的校准回归测试会拖慢学习速度，却无法过滤掉谎言。（3）原始模型自身的先验能标记与其已知内容相矛盾的声明，无需裁判。它能把关于已知事实的谎言与真实的新事实区分开（三个模型上 AUC 0.78-0.83），但无法与同类事实的合法更新区分开（AUC 0.53）。它可节省 43% 的裁判调用，但能访问模型的攻击者可以选择通过该先验的谎言。（4）如果存在攻击者无法植入的可信来源，将矛盾声明路由到证据可恢复合法更新，且组合系统在学习到的声明中具有最低投毒率；当攻击者为 30% 的谎言植入匹配来源时，该系统最终比仅用裁判更差。这些接受信号回答的是不同的问题，没有任何一个信号能单独判定声明是否为真。