TypedBench：面向 System One 决策模型的校准、措辞敏感性与成本基准测试

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 托管模型遵循既定策略，但对措辞敏感且系统性欠自信。
• 在非对称代价矩阵下，使用托管模型的概率可能比直接采用其最高答案更差。
• 开源解码器（0.8B-9B 参数）路由精确，但随选项或问题增加而变慢，且在策略问题上准确率最低。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

System One 模型通过非生成式接口输出类型化答案（如类别选择、序数等级或二元结果）上的校准概率。软件可以基于这些概率通过阈值、代价加权选择和升级规则采取行动。因此，如果这些概率校准不佳或对措辞敏感，软件可能采取非预期行动，且人工操作员没有可供检查的文字依据。目前的评估大多是在公开分类数据集上报告准确率和校准，缺乏明确的参照。我们提出 TypedBench，一个针对 Jev 等类型化决策模型的基准，由七个带策略标注的生成器和九个评估套件构成。我们将准确率报告为跨改述的中位数和范围，并相对于匹配的、完美校准预测器的有限样本噪声下限报告校准误差。我们通过选择性预测、序数正规评分规则以及非对称代价矩阵下的实际代价来评估概率质量。我们在完全相同的题目上评估了一个托管模型、一个开源编码器以及一族 0.8B-9B 参数的开源解码器。托管模型遵循既定策略，但对措辞敏感且系统性欠自信；在非对称代价下，使用其概率可能比直接采用其最高答案更差。解码器路由精确，但随着选项或问题的增加而变慢。该解码器在策略问题上准确率最低，且随选项增多而退化。总体而言，类型化决策模型必须在策略遵循、措辞鲁棒性、概率质量和引发的决策结果上接受联合评估。