System One 能否迁移?面向印尼区域语言的校准类型化决策模型、标签预算与翻译

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 提供人工印尼语翻译而非区域语言原句,可使 Jev 准确率最多提升 37.2 个百分点,在与印尼语差异大的语言中提升最多。
• 重训分类器需要每种语言超过 500 个标签,才能在 10 种 NusaX 区域语言中的 9 种上匹敌零样本 Jev。
• 将 Jev 置信度最低的 10-30% 决策路由至 LLM 的级联,以低 24-77% 的 API 成本匹敌该 LLM;六个商业 LLM 中有五个比 Jev 准确 4-14 个百分点,成本高出数百倍。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

校准的类型化决策("System One")模型在单次前向传播中返回标签和概率,成本仅为大语言模型(LLM)的一小部分,但其评测几乎完全局限于英语。我们报告一项预注册评测,评估商业 Jev 模型与开源 Laya-multilingual 模型在印尼区域语言上的表现,使用平行的 NusaX 情感(12 种语言)以及 NusaTranslation 情感与情绪(7 种语言)测试集。Jev 在所有三个数据集中,对词汇上更接近印尼语的句子更常给出正确结果;改为呈现人工印尼语翻译后,其准确率最多提升 37.2 个百分点,在与印尼语差异大的语言中提升最多。其期望校准误差在区域语言上并未增大,但其对自身错误进行排序的能力在所有三个数据集中均下降。重新训练的分类器需要每种语言超过 500 个标签才能在 10 种 NusaX 区域语言中的 9 种上匹敌零样本 Jev。一个置信度门控级联系统将 Jev 置信度最低的 10-30% 决策发送给本地 IndoBERT 分类器,可匹配或超过两个系统中较好者;若改为路由至 LLM,则以降低 24-77% 的 API 成本匹配该 LLM。在另外六个商业 LLM(三个 Claude 和三个 GPT 模型)中,有五个比 Jev 准确 4-14 个百分点,其 API 成本(在有报告处)高出数百倍,而最小的一个(Claude Haiku)准确率较低。我们发布预注册文件、代码及全部预测结果。