窄决策模型：一种面向校准的、带类型的决策的System-1架构

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 在训练好的模型中，选项顺序不变性和问题间独立性保持到舍入误差。
• 在相同计算量下，块架构达到比成对交叉编码器更低的损失。
• 在真实法律文档上训练的首个实例与生产中的LLM分类器在91%的留出文档上达成一致。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

System One模型（随TypeSafe的Jev一同提出）以校准概率而非生成文本来回答关于某个状态的带类型问题：在以自然语言描述的选项中做出选择（Choice）、将状态置于有序量表上（Score）、或判断一个是/否陈述（Noul）。Jev是通用型的：一套权重，以API形式提供服务，仅通过请求来适配某个领域。我们研究设计空间的另一端。窄决策模型（NDM）提供相同的接口，但针对单个组织的决策进行训练，规模足够小以在其自有基础设施上运行，并具有开放架构，其性质可以被陈述和测试。状态可以是任何需要对其做出决策的文本或结构化记录；我们的运行案例是法院通信的路由。该架构将请求序列化为前缀树（先状态，再每个问题，再每个选项），并在块注意力掩码与逻辑位置下运行双向编码器，从而每个答案在构造上对其选项顺序不变，且与其他被问到的问题无关。在组织架构图上的路由是带显式“以上皆非”选项的Choice决策的组合。我们描述了通过课程学习以严格适当评分规则进行的训练、校准与弃答、由评分规则（rubric）组合的决策，以及在打开留出数据之前接受或拒绝该机制的协议。在公开和虚构数据上的最小验证表明：在训练好的模型中，不变性保持到舍入误差；一个小型实例在从未见过的组织架构图上的路由效果远高于词法检索；在相同计算量下，块架构达到比成对交叉编码器更低的损失。在真实法律文档上训练的首个实例与生产中的LLM分类器在91%的留出文档上达成一致。