ThinkJev：一次思考，覆盖所有预算的校准类型化决策

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 在 5% 目标错误率下，Qwen3.5-27B 对 8359 个测试决策中 24.5% 由 System 1 作答，实际错误率 3.9%（Qwen3.5-4B 和 9B：6.5% 和 0.0%）。
• 置信度驱动的早停以 72% 的思考 token 达到 81.6% 准确率，始终思考为 82.7%。
• 在 JevBench 公开题目上，Qwen3.5-27B 在 29.4% 上思考，准确率与所列两个思考 API 无显著差异（探索性）。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

许多语言模型的应用最终归结为类型化决策：在一组封闭选项中做出选择，其概率可供代码直接使用。通过一次前向传播读取这些概率速度很快，但在需要多个步骤的决策（如算术、计数和日期比较）上经常出错。让模型先思考可以修复大部分此类错误，但每个决策的代价从毫秒级变成秒级。为了让思考只在有帮助的地方付出代价，ThinkJev 基于一个开源混合思考模型构建了快慢双系统，该模型可以直接回答，也可以在思考后回答。System 1 在模型直接回答时读取选项字母的概率；System 2 在同一缓存提示上让模型思考后读取同样的字母，因此升级不会重复任何工作，且两个系统对相同选项给出概率。由于这些字母可以在任意数量的思考 token 之后读取，一次采样的思考也能给出每个思考预算下的答案。无需训练，ThinkJev 仅在基于标注开发数据的统计检验保证 System 1 被接受的答案低于目标错误率时，才允许其独立作答。在 5% 的目标错误率下，Qwen3.5-27B 以此方式回答了 8359 个测试决策中的 24.5%，实际错误率为 3.9%（Qwen3.5-4B 和 9B：6.5% 和 0.0%）。对于其余决策，在每个思考的答案一有把握时就停止，可达到 81.6% 的准确率，相比始终思考的 82.7%，仅使用 72% 的思考 token。仅凭 System 1 的置信度决定何时思考节省得更少，因为 System 1 最不确定的决策往往不是思考所能修复的。在类型化决策服务的独立基准 JevBench 的公开题目上，Qwen3.5-27B 在 29.4% 的题目上进行思考，其准确率与所列两个思考 API 无显著差异（探索性）。代码和数据生成器可在 https://github.com/ding-xiaolu/ThinkJev 获取。