SanSi：面向 System 1.5 思维的循环式类型化决策模型

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 在来自 59 个数据源的 10,027 个测试决策上，SanSi 达到 72.0% 准确率：比同构、同配方的非循环模型高 13.5 个百分点，比更新的同规模非循环模型高 5.3 个百分点。
• 每次循环都用 proper scoring rule 训练，一个模型可在单次运行中服务从 1 到 8 次循环的任意预算。
• 作为无需标准答案的强化学习裁判，SanSi 将生成器正确答案占比从 37% 提升到 52%。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

类型化决策模型在声明的问题上直接作答而无需生成文本：一个决策头在单次前向传播中为每个声明选项返回一个概率。单次前向传播是快速、直觉式的 System 1 思维。我们研究介于单次前向传播与生成式推理之间的形态：循环（looping），即在最终一次类型化读出之前，将相同的层递归地应用若干次。每次循环让模型在给出答案之前修正其隐藏状态，而不生成任何 token；我们称之为 System 1.5 思维。我们提出 SanSi，它将一个预训练的循环语言模型转化为类型化决策模型。选项概率在每次循环后读取，且每次循环都用一个严格 proper scoring rule 训练，因此一个模型可在单次运行中服务于从一个循环到八个循环的任意预算。在来自 59 个数据源的 10,027 个测试决策上，SanSi 达到 72.0% 的准确率：比使用相同训练配方的同构非循环模型高 13.5 个百分点，比一个更新的同规模非循环模型高 5.3 个百分点，比一个参数量为其三倍的模型低 1.8 个百分点。在两个深度受控任务上，循环使可解深度扩展到超出训练中见过的深度，而更大的单次前向模型则失败。在无需标准答案、用作强化学习策略优化的裁判时，SanSi 将生成器正确答案的占比从 37% 提升到 52%。