校准的信任,而非更锐利的预测:不确定性融合的实证检验

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 判别力(AUROC约0.83)上流水线无改进;直接使用的前沿LLM是最强的单一判别器。
• LLM与贝叶斯赔率及Dempster-Shafer的朴素融合使校准误差翻倍以上(ECE从约0.16升至0.46),机制为先验失配。
• 移除Dempster-Shafer并应用保形风险控制后,调优引擎以96.8%准确率自动通过,0.5%错误逃脱,96.3%被捕获;未调优基线为85.9 / 3.8 / 72.1。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

法律AI领域的一个反复出现的提议是:将不确定性工具(带信念传播的证据图、序贯贝叶斯赔率更新、Dempster-Shafer组合以及保形预测)融合到一个流水线中,以改进案件结果预测。我们在来自LexGLUE和FairLex的1,000个真实的欧洲人权法院案件上对此进行了测试,根据案件的事实段落预测法院是否认定存在公约违反。我们在两个前沿LLM(Claude Opus 4.8和GPT-5.5)上比较三族按事实证据估计器:(A)原始LLM,(B)经融合流水线路由的LLM,以及(C)经同一流水线的词频基线。在大约4,750次测试中,我们发现:(1)在判别力上(AUROC约0.83),该流水线相对原始LLM或基线均无改进;直接使用的前沿LLM是最强的单一判别器。(2)将LLM与贝叶斯赔率和Dempster-Shafer融合天真组合,会使校准误差增加一倍以上(ECE从约0.16升至0.46),其机制为先验失配,且在两个模型上均可复现。(3)Dempster-Shafer融合在长链上 actively 不安全,在低于随机水平的准确率下自信地给出错误标签;我们建议将其移除。(4)该流水线的真正价值在于运营层面:经保形选择性预测层路由,系统可决定哪些案件自动化处理、哪些升级人工审查。在移除Dempster-Shafer、重新校准并对完整的1,000例数据集应用类条件风险控制后,调优引擎以96.8%的准确率自动通过,0.5%的错误逃脱,96.3%的错误被捕获以供审查;而未调优基线为85.9 / 3.8 / 72.1。此类流水线在法律领域的贡献是校准的信任,而非更锐利的预测。