StartLux-Decision：基于强化学习、实现校准审慎决策的 AutoThink 决策模型
StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions
Technical report. 38 pages, 16 figures, 15 tables
⚡ 一句话总结 AI 生成 · 以原文为准
关键结论
- 在 Decision Index 0.3 公开子集上，Instant 模型比最强同规模开放权重决策模型高 7.4-16.9 分，27B AutoThink 达到 73.4。
- RLCD$^2$ 将限制内终止的推理轨迹比例最多提升 48 个百分点，平均推理长度最多缩减 65%，且基本保持准确性。
- 在 DecisionPivot 上，AutoThink 对比准确率比 Instant 版本高 11.5-18.4 分，位居所评估系统之首。
📄 摘要AI 生成 · 以原文为准
我们推出 StartLux-Decision，参数规模从 0.8B 到 27B 的决策模型系列，将高效的单次前向预测与自适应、置信度引导的推理相结合。Instant 模型在全注意力层中使用双向注意力以提升决策准确性，同时保持单次前向推理。AutoThink 模型对不确定的决策调用显式推理，对高置信情形直接作答。三阶段训练流水线先建立共享决策能力，再对两个变体进行专门化，并通过推理监督与强化学习赋予 AutoThink 推理能力。我们提出面向校准审慎决策的强化学习方法（RLCD$^2$），它使用冻结模型和适当评分规则来奖励决策概率质量的提升，并对过长的推理轨迹施加软惩罚。RLCD$^2$ 将在生成长度限制内终止的推理轨迹比例最高提升 48 个百分点，并将平均推理长度最多缩减 65%，同时基本保持决策准确性。在 Decision Index 0.3 的公开子集上，Instant 模型比所评估的最强同规模开放权重决策模型高出 7.4-16.9 分，27B AutoThink 模型达到 73.4。我们还推出 DecisionPivot，一个由仅在单一改变答案细节上不同的对比对构建、可程序化验证的计算决策基准。在 DecisionPivot 上，AutoThink 在对比对准确率上比对应的 Instant 版本高出 11.5-18.4 分，并在所评估系统中领先。这些模型可使用 vLLM 和 MLX 等框架运行，并提供量化版本以降低内存占用。推理代码与模型权重链接见 https://github.com/StartLuxLabs/Startlux-Decision 。
💬 讨论 0
发帖 →每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。