面向多语言LLM路由的生成前成功探针的跨语言校准

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 英文训练探针保留有用的跨语言判别力,但迁移后校准变差。
• 池化多语言监督同时改善判别力与校准,给出更可靠的成功估计。
• 在 10 种语言的 3,000 道 MATH 题目和 8 种模型配置上,池化路由器测试成功率高 0.7%,建模成本低 13.0%。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

生成前成功探针在解码之前从语言模型的隐藏激活中估计回答的正确性,从而支持成本感知路由。此前工作主要在英文输入上验证其实用性,而我们从三个维度研究其跨语言可靠性:(1)是否保持可能成功与失败的排序(判别力/DISCRIMINATION);(2)是否保留与观测成功频率相符的概率(校准/CALIBRATION);(3)是否产生足够可比的分数以支持成本感知的多语言路由(效用/UTILITY)。我们使用 10 种语言的 3,000 道 MATH 题目和 8 种开放权重模型配置,比较了英文训练探针的跨语言迁移与等预算的池化多语言探针。英文训练探针保留了有用的跨语言判别力,但迁移后校准变差。池化多语言监督同时改善了这两项属性,并给出更可靠的成功估计。在路由实验中,池化路由器相比始终选择平均成功率最高的模型,测试成功率提高 0.7%,同时建模成本降低 13.0%。这些结果表明,多语言路由需要在各语言和各模型之间保持良好校准且可比的成功估计。