流行率偏移下的类型化决策模型：决策训练、校准与隐式先验

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 决策训练并非普遍有益：Nimble-9B 在意图任务上校准更好，但在金融情感上 Macro-F1 低 12.0 个百分点。
• 中等偏移下，Jev 的 ECE 与阈值风险仅在金融情感上增幅显著高于微调 DeBERTa（分别高 1.7 和 2.5 个百分点）；2,000 个偏移场景平均后每数据集差距至多一个百分点。
• 无需标签的 EM 先验校正在 ECE 最高的两个数据集上分别降低 Jev 偏移后 ECE 2.7 和 1.8 个百分点，但有标签重校准降幅大得多。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

类型化决策模型（TDM）返回调用方定义选项上的概率，其供应商称 Jev 是校准的。但在部署环境中类别频率会发生变化，因此在固定测试集上测得的校准未必适用于应用阈值时的场景。现有评估存在两个缺口：供应商决策训练的收益尚未在相同读出方式下与骨干模型区分开；且 TDM 仅在测试集的类别分布下被测试过。我们探究：决策训练是否使模型优于其自身骨干；TDM 的校准与阈值在流行率（标签）偏移下能否像微调分类器一样稳健。我们在五个公开数据集的相同决策任务上，在模拟偏移下比较三个 TDM（Jev、Tev1-4B、Nimble-9B）、它们的基座模型和两个训练的分类器，并在任何测试计算之前预先固定了 35 个配对检验。第一，决策训练并非普遍有益：与 Qwen3.5-9B 仅相差一个 LoRA 适配器的 Nimble-9B 在意图任务上校准更好，但在金融情感上 Macro-F1 低 12.0 个百分点。第二，在中等偏移下，Jev 的期望校准误差（ECE）和阈值风险的增幅仅在金融情感上显著高于微调的 DeBERTa，分别高出 1.7 和 2.5 个百分点；在 2,000 个偏移场景上的平均值（探索性分析）显示，每个数据集上的差距至多为一个百分点。第三，以模型在开发集的平均预测为先验的 EM 先验校正无需标签，可在偏移下将 Jev 在 ECE 最高的两个数据集上分别降低 2.7 和 1.8 个百分点，但有标签的重校准降幅大得多。我们测试的三个 TDM 既非全面优于其骨干模型，也非在偏移下格外脆弱；就校准而言，它们的主要弱点是无偏移时已有的失准。我们公开所有输入、代码和输出。