规模化校准决策：用 System One 模型（Jev）将交警事故叙述转化为概率化事故变量

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 类型化模型对照人工标签达到 F1 = 0.908；一个前沿模型高出 0.059，另一个与其无显著差异。
• 基于相同标签重新校准将校准误差降低 3.3 倍；与编码字段的一致性以中位数 0.26 kappa 低估忠实度。
• 加入校准变量后，归因于九个因素的受伤和致命事故每年增加 10,747 起。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

带有调查员叙述的事故数据集包含编码字段未涵盖的信息。规模化编码这些叙述一直受三大障碍阻碍：前沿大语言模型在该规模下成本高昂，其生成的文本无法核实，且没有规则规定人工必须核查多少输出。本文将叙述编码表述为门控的类型化决策，由 Jev 回答——这是一个 System One 模型，返回分析师定义选项上的概率且不生成文本。筛选覆盖了 499,500 条德克萨斯州叙述，其中 195,857 条使用 27 题模式编码。成本由模式规模而非叙述长度决定。概率对照编码字段以及在既定抽样设计下抽取的 2,416 条盲评人工判断进行审计。两个前沿大语言模型在相同记录上进行基准测试。对照人工标签，该类型化模型达到 0.908 的 F1。一个前沿模型高出 0.059，另一个与其无显著差异。校准因模型而异而非因范式而异，因此每个模型都必须审计。基于相同标签的重新校准将校准误差降低 3.3 倍。与编码字段的一致性以中位数 0.26 的 kappa 低估了对叙述的忠实度。分辨率下界适用于任何在离散网格上报告概率的模型。对被标记记录的审查预算给出了每个变量、每年必须人工阅读的记录数。将校准后的变量加入编码字段，使归因于九个因素的受伤和致命事故每年增加 10,747 起。