字面锁死:测试语言如何改变类型化决策模型在孟加拉语习语上的字面吸引

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 将习语自身的字面释义插入选项后,各分支剩余孟加拉语错误消除65%至96%。
• 在相同配对条目上,各分支在孟加拉语中被捕获的概率是英语的1.9至6.4倍;能力高低并不决定失败顺序。
• 在语义无关、准确率仅为随机水平的选项列表上,校准最好的分支仍报告平均置信度0.82。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

决策模型是非生成式评分器,它对调用方提供的选项输出概率且不生成任何文本,正日益被用作路由器、分类器和护栏。由于它们不生成内容,理由与思维链并不适用。我们审计三个模型:一个编码器评分器、一个解码器评分器和一个封闭 API,完全通过对其输入的干预进行,使用带有黄金比喻义和黄金字面义注释的专家标注孟加拉语习语。将习语自身的字面释义放入选项列表会将每个分支都拉向它,消除各分支剩余孟加拉语错误的 65% 至 96%。在单一共享条目集上的模型×语言矩阵显示这多大程度上取决于测试语言:在相同的配对条目上,每个分支在孟加拉语中被捕获的概率是英语中的 1.9 至 6.4 倍,商业模型表面上的抵抗力是其测试语言的属性,且能力高低并不决定失败顺序。三个分支的校准均退化,在开放分支上置信度发生反转,因此基于置信度的门控比随机门控更差。在语义无关的选项列表上,准确率仅为随机水平,而校准最好的分支仍报告平均置信度 0.82。代码和数据:https://github.com/sakhadib/literal-lock-in。