Jev 中的跨原语一致性

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 跨原语差异能以 0.91 的 ROC-AUC 预测决策失败。
• 在留一域协议下，CPRC 将跨原语不一致性降低 58.57%，准确率提升 +2.97%。
• 在全部四个基准轴和全部三种测试的 Jev 规模上均出现一致性违规。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

Jev 通过类型化查询原语实现大语言模型（LLM）的高效决策，使同一语义状态可以以不同格式表达，例如二值查询和多选查询。然而，跨原语的决策一致性尚未得到系统性评估。本工作提出 PrimaCons，一个四轴基准，用于在保持查询语义的前提下评估跨原语一致性。在三种 Jev 规模上的评估显示，四个轴上均存在一致性违规。我们的分析表明这些违规遵循系统性模式，且跨原语差异能以 0.91 的 ROC-AUC 预测决策失败。为缓解这些不一致性，我们提出跨原语残差校准器（CPRC），它将轻量级残差网络附加到冻结骨干网络，并联合优化预测准确率与跨原语一致性。在留一域（leave-one-domain-out）协议下，CPRC 将跨原语不一致性降低 58.57%，并将准确率提升 +2.97%，证明了其在域内和域外场景中的有效性。我们的发现确立了跨原语一致性作为评估 Jev 的关键维度，并提供了一种提升其决策可靠性的实用方法。代码与基准可在 https://github.com/67L1/PrimaCons-CRPR 获取。