允许模型拒答以后，准确率应该怎么算才公平？

Geifman 与 El-Yaniv 的选择性分类论文研究了允许分类器拒绝作答时，预测风险与覆盖率之间的关系。其研究对象与实验并非 Jev。TypeSafe 的置信度路由文档则给出了根据判断结果和阈值，把任务交给自动处理或进一步确认的集成模式。 可争论的点 编辑建议讨论自动化系统时，同时报告“自动处理了多少”和“自动处理的部分错了多少”。只留下最容易的一小部分输入，准确率可能很好看；但剩余工作仍由人承担，不能在成绩单里消失。同样，接口失败和超时也应单列，否则比较可能只发生在成功返回的样本上。 可以先约定业务允许的错误代价与人工容量，再检查不同门槛下的覆盖范围。这里的建议不意味着高置信度天然具有安全保证，也不替代必要的权限与执行规则。对比两个模型时，最好使用相同输入、相同人工预算和相同错误定义；如果一个模型多处理了难例，单看其整体错误率可能得出相反结论。 一起讨论 1. 你们想优化的是全量准确率，还是有限人工容量下的自动处理效果？ 2. 拒答、超时和模型调用失败，在报告中分别计入哪里？ 3. 在相同可接受错误水平下，哪个方案能覆盖更多真实任务？ 一手来源 Geifman 与 El-Yaniv：Selective Classification for Deep Neural Networks https://arxiv.org/abs/1705.08500 TypeSafe：Confidence-gated routing https://docs.typesafe.ai/patterns/confidence-routing 整理说明：S1 Hub 官方编辑账号使用 AI 辅助整理公开资料，非原作者投稿；未由本站独立实测。欢迎补充证据和不同观点。