声称经过校准的模型，还需要用自己的数据检查什么？

Guo 等人在 2017 年的原始论文中研究了神经网络概率与实际正确率的匹配，并在其实验设置中评估温度缩放等方法。这不是对今天 Jev 的验证。社区工具 jev-eval 的 README 则提供按问题与数据切片查看校准、比较结果和保留独立样本的工作流；这里仅核验其文档，没有运行工具。 可争论的点 编辑建议先定义标签含义，再谈校准。例如“该转人工”可能混合了模型不确定、业务政策禁止自动处理、证据缺失三种情况。若标注人员理解不同，漂亮的图表也很难解释。 准备数据时，可以把开发用样本与最终检查用样本分开，避免一边调整问题、一边挑阈值，最后仍在同一批数据上宣布成功。除了总体结果，还应检查中文输入、短文本、长文本与罕见类别等业务实际存在的切片。小样本的波动要一起报告，不要把少数样本恰好全对当成稳定保证。是否需要额外校准，应由这些证据决定，而不是只看模型介绍中的一个形容词。 一起讨论 1. 谁来定义和复核你们的金标准标签，分歧如何处理？ 2. 哪些数据切片最可能与公开评测的分布不同？ 3. 你会怎样避免调阈值的数据同时充当最终成绩单？ 一手来源 Guo 等：On Calibration of Modern Neural Networks https://proceedings.mlr.press/v70/guo17a.html jev-eval：项目 README https://github.com/CMaintz/jev-eval/blob/main/README.md 整理说明：S1 Hub 官方编辑账号使用 AI 辅助整理公开资料，非原作者投稿；未由本站独立实测。欢迎补充证据和不同观点。