我们自己的 Jev:从内部评审员到开放 LoRA 模型的单次前向传播类型化决策

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 冻结骨干加 rank-16 LoRA 适配器和指针头在单块 GPU 上约 3 分钟评审 1,000 个会话(约 0.06 美元),约为每次约 1,000 美元的先锋评审员成本的 1%;后者存储标签仅在 26.9% 的双评审一致会话上与新共识相符。
• 在 JevBench 的 111 个公开困难条目上,单种子 35B 得分 79.3%,与商业参考(73.0%,未校正 p=0.12)无显著差异,经 Holm--Bonferroni 校正后领先五个开放系统;2B 领先所有四个 kev 检查点。
• 训练输出层的 26 个字母行没有可检测收益,而在较新语料库版本上重训练使 2B 的困难档准确率变动 11.7 个百分点。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

类型化决策将证据、一个问题和一组固定选项映射为每个选项的概率,在一次前向传播中通过读取语言模型的 logits 或其隐藏状态上的小型头来完成,而非生成并解析文本。商业系统 Jev 推广了这种 System~1 接口,随后出现了开放复现。我们报告该模式的两种应用。第一部分描述一个内部 System~1 评审员,它对一个训练语料库中约 148K 条智能体编程会话记录进行分诊。它替代了一个每次运行成本约 1,000 美元的先锋 LLM 评审员——后者的存储标签仅在两位评审员达成一致的那些会话中的 26.9% 上与新的双评审员共识相符;一个自托管的冻结骨干配合 rank-16 LoRA 适配器和指针头,在一次前向传播中回答三个类型化问题,在单块 GPU 上约三分钟内评审 1,000 个会话,按参考费率约 0.06 美元,约为先锋评审员成本的 1%,并且所有会话都保留在组织内部。第二部分探讨一个不增加参数的读出能否具有竞争力,以及训练它是否有帮助。将公开的 Eikos 方法和约 25K 决策的语料库应用于另外三个骨干(1B、2B 和 35B),我们读取 LoRA 适配解码器的冻结输出层。在 JevBench 的 111 个公开困难条目上,我们的单种子 35B(在开发时参考了这些条目)得分为 79.3%,与商业参考(73.0%,未校正 p=0.12)无显著差异,并经 Holm--Bonferroni 校正后领先五个开放系统;我们的 2B 在排行榜上领先所有四个 kev 检查点。单种子消融实验发现训练输出层的 26 个字母行没有可检测的收益,而在较新语料库版本上重训练使 2B 的困难档准确率变动 11.7 个百分点,这表明小型评测所能分辨的东西何其之少。