论文 / arXiv:2609.23742
受限解码消除了小型LLM中的结构失败，但揭示了依赖于规模的语义鸿沟
Constrained Decoding Eliminates Structural Failures in Small LLMs but Reveals a Scale-Dependent Semantic Gap
Akash Chavan·2026-09-20·cs.CL相关度 4.5
6 pages, ACL format Code and task suite: https://github.com/CruiseDevice/small-llm-structured-benchmark (tag v1.0)
⚡ 一句话总结 AI 生成 · 以原文为准
受限解码使模式有效性达100%，但类型转换错误可挽救，而多步函数调用等语义错误仍无法修复。
关键结论
- CD消除了全部五个模型中的所有结构失败，模式有效性从78.6-92.9%提升至100%。
- 类型强制转换失败完全可被CD挽救，而指令语义失败（如多步函数调用）则对CD具有抗性。
- 模式符合性是语义正确性的必要但非充分条件；CD的作用范围恰好在模式符合性终止之处终止。
📄 摘要AI 生成 · 以原文为准
参数量在0.6B-4B之间的小型开源大语言模型（LLM）正日益被部署用于结构化输出生成（JSON、函数调用、数据提取），但人们对受限解码（CD）如何在该规模区间与模型规模相互作用知之甚少。我们在三个解码条件（原生、Outlines、XGrammar）下，对来自三个系列的五个模型在14项结构化输出任务上进行了基准测试。我们引入了一种双轴评估方法，将结构正确性（模式有效性）与语义正确性（内容准确性）区分开来。我们发现，CD消除了所有模型中的全部结构失败（模式有效性从78.6-92.9%提升至100%），但内容准确性揭示了一个持续存在且依赖于规模的语义鸿沟：类型强制转换失败完全可被CD挽救，而指令语义失败（例如多步函数调用）则对CD具有抗性。模式符合性是语义正确性的必要条件但非充分条件；CD的作用范围恰好在模式符合性终止之处终止。
💬 讨论 0
发帖 →还没有讨论，来发起第一个吧。
每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。