FlipJev：快速黑盒红队测试可发现类型化决策模型的通用对抗后缀

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• Jev 能抵抗常见提示注入：在 10,240 次配对测试中没有任何策略能改变正确答案。
• 每个数据集一个通用后缀即可在几分钟内找到并翻转 43% 的未见文档。
• 从一个任务生成的后缀可翻转其他任务中 90-100% 的样本。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

类型化决策模型是一类新兴的语言模型，它们做出决策而非生成自由文本回复。它们只需一次快速且廉价的查询即可作答，应用日益广泛，包括安全敏感任务。然而，针对这些模型的红队测试存在两个空白：现有的自适应攻击未利用其速度优势，且很少有研究搜索通用对抗样本。我们在代表性类型化决策模型 Jev 上填补这两个空白，提出一种快速的黑盒查询式攻击，不调用任何攻击者语言模型。我们在 12 个具有不同数据类型和应用场景的数据集上进行了大量实验。结果表明，Jev 能抵抗常见的提示注入：在 10,240 次配对测试中，没有任何策略能改变正确答案。相比之下，我们的攻击能在几分钟内找到翻转高置信度答案的短后缀。这些后缀是通用的：每个数据集一个后缀即可翻转 43% 的未见文档。由于类型化决策模型与经典 NLP 模型不同，可服务于多种任务，我们测试了这些后缀能否跨任务迁移。我们发现，从一个任务生成的单个后缀可以翻转其他任务中 90-100% 的样本。因此我们认为，类型化决策模型的评估必须包含严格的自适应攻击，才能充分揭示其鲁棒性。