大型决策模型：将大语言模型改造为单次前向决策器

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 在三个基础模型上，DDS+SPRD 方案较步数匹配基线分别提升准确率 1.8 和 1.5 个百分点。
• 在 Gemma-4-31B 上实现相对推理回滚 182 倍的延迟加速。
• 置信度路由恢复推理准确率优势的中位数 92%，仅生成其 27-58% 的 token。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

大语言模型通过并行预填充与顺序解码来做出决策。这种方法虽然有效，但会带来解码成本，且无法显式给出决策概率。现有的任务专用分类器需要针对每个任务进行训练，对未见决策模式的泛化能力有限。我们提出大型决策模型（LDMs），将语言模型改造为通过一次预填充前向传播，对运行时指定的标签返回显式概率。我们首先通过多样化决策监督（DDS）使模型适应这一接口，覆盖多样的领域、规则和标签。为进一步缩小与推理模型的性能差距，自设推理蒸馏（SPRD）引入由冻结教师模型生成的任务，过滤答案一致性，并基于教师模型重复推理得到的标签分布进行训练。我们在 DecisionVista 上评估，将新模式测试与留出的人工标注来源配对。在三个基础模型上，该方案相比步数匹配的基线分别提升准确率 1.8 和 1.5 个百分点，并在 Gemma-4-31B 上实现相对推理回滚 182 倍的延迟加速。推理在新模式测试上仍更强，这促使我们为不确定决策引入置信度路由。在开发集上，路由恢复了推理准确率优势的中位数 92%，同时仅生成其 27-58% 的 token。代码可在 https://github.com/JianhuiWei7/LDM 获取。