论基于预填充的解码长度预测的基本极限

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 正态律在几个百分点内重现了逐提示 MAE 和解码长度分布的主体质量。
• 逐提示正态性带显式误差项成立，并有仿射方差律 σ = αμ + b，其斜率为响应分段数的变异系数。
• 在固定模型、数据和采样条件下，MLP、EGTP、FiLM、软标签和 Mixture-of-Experts 预测器收敛到接近该界的相似性能：系统误差主导模型误差。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

仅利用预填充阶段（prefill）的隐藏状态来预测大语言模型（LLM）将解码多少 token，是推理调度的关键原语。我们表明，现有基准将预测器质量与任务难度混为一谈：当目标模型、数据集或采样配置改变时，即使预测器本身未变，报告的准确率也会崩溃。我们将这种不稳定性追溯到一个被忽视的误差来源——自回归解码固有的随机性——并推导出所有预填充侧方法都必须遵守的界。我们的分析将解码视为一个停时随机过程。响应的逐步停止概率并非恒定，而是在数百步内逐渐上升，因此解码长度继承了由决定响应结束位置的众多局部决策带来的中心极限定理；这给出了带显式误差项的逐提示（per-prompt）正态性，以及一个仿射方差律 $σ=αμ+b$，其斜率是响应分段数量的变异系数。在经验上，该正态律在几个百分点内重现了逐提示 MAE 和解码长度分布的主体质量，而偏离正态性的残差（轻度右偏、轻微超额峰度）正是采样噪声修正所预测的那些。在固定的模型、数据和采样条件下，广泛的预测器设计空间（MLP、EGTP、FiLM、软标签以及 Mixture-of-Experts 变体）收敛到接近该界的相似性能，证实了系统误差主导模型误差。我们主张一种基准协议：固定模型、数据和采样参数，并同时报告相对误差与绝对误差指标。代码与分析工具见 https://github.com/ShwStone/DecodingPredict。