JevCascade：仅预填充决策模型的读出稳定性与推理时算力分配

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 在六个模型家族、十六个数据集和两种任务类型上，仅菜单干预的预测误差不超过 4.2 个百分点（一个家族完全精确）；概率级变体误差为 21.0 个百分点。
• 均匀增加前向遍数只能买到校准而几乎买不到准确率；匹配成本下置信级联胜过所有对同一模型重复提问的方案。
• 0.8B 模型在策划的 5 候选菜单上于 CLINC150 达 95.4%，而 4B 模型在完整 150 标签菜单上仅为 80.0%。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

我们提出 JevCascade，一个面向仅预填充（prefill-only）决策模型的推理时算力分配框架，建立在读出稳定性与零标签受限读出预测之上。仅预填充决策模型在单次前向传播中对菜单中的每个候选项打分，且从不解码，这使得一次调用的成本比同规模的生成式语言模型低一到两个数量级。我们证明这种读出结构携带一个可检验的性质：当一次干预仅改变菜单而保持输入文本不变时，干预后的准确率已由缓存的第一遍分布决定。受限预测器将第一遍概率限制到菜单上，重归一化后读出 argmax，无需标签，也无需第二遍前向。在六个模型家族、十个核心数据集（共十六个）和两种任务类型上，仅菜单干预的预测误差不超过 4.2 个百分点，其中一个家族完全精确。该性质是序数性的而非概率性的，因为同一估计器的概率级变体误差达 21.0 个百分点；且是类特定的，因为同规模生成式模型的误差为 1.6 至 15.8 个百分点，并随规模增长而退化。它使推理时算力在部署前即可决定。均匀增加额外前向遍数可买到校准但几乎买不到准确率；在匹配成本下，置信级联（confidence cascade）胜过所有对同一模型重复提问的方案；精心策划菜单胜过扩大模型——0.8B 模型在策划过的 5 候选菜单上于 CLINC150 达到 95.4%，而 4B 模型在完整 150 标签菜单上仅为 80.0%。