预测奖励而非世界：面向机器学习智能体的世界奖励模型

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• ForeCritic 在 26 个 ML 任务的 12,438 个留出对上以 79.4% 的准确率选出更优程序，而通用 LLM 评审仅为 53--62%。
• 它基于 5k 个已执行程序对适配一个 9B 类型化决策模型，且输出概率经过校准。
• 在 AIDE、ML-Master 和 ForeAgent 中，它将平均任务时间缩短 4.4--7.5 倍，平均分数保持在 0.01 以内或有所提升。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

基于搜索的机器学习（ML）智能体通过编写候选程序、执行它们并保留最优者来改进解决方案。执行为搜索提供了可靠的反馈，但单次运行可能耗时数小时，且大多数运行的结果是被智能体丢弃的程序。近期的智能体试图通过让大型语言模型充当世界模型来预测每个程序的表现，从而节省这些运行。然而，错误的预测会向搜索注入虚假信息。我们论证，智能体无需预测执行的结果，只需预测执行所能支持的决策。我们提出世界奖励模型（WRM），它从真实执行结果中学习，直接选出哪个候选程序表现更好，而不预测任何中间结果。我们证明：基于相同输入预测执行的选怪器无法超越最优的直接选择器；预测结果会引入一种误差，可能使基于似然训练的世界模型在每个实例上都偏向较差的程序；而对执行胜出者的交叉熵训练会驱使 WRM 逼近最优。我们的 WRM，ForeCritic，将一个 9B 类型化决策模型适配到 5k 个已执行程序对上。在来自 26 个 ML 任务的 12,438 个留出对上，它以 79.4% 的准确率选出更好的程序，而通用 LLM 评审仅为 53--62%，且其概率是校准的。在 AIDE、ML-Master 和 ForeAgent 中，它将平均任务时间缩短 4.4--7.5 倍，同时平均分数保持在 0.01 以内或有所提升。