面向决策的推荐重排序：对其潜力与局限的实证研究

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• TypeSafe Jev 经常实现良好的质量—延迟权衡，在明显低于更强的 LLM 替代方案的观测延迟下提供有竞争力的推荐效果。
• 研究覆盖两种面向决策的系统（TypeSafe Jev 和 OpenAI Decisions）、三个 Amazon Reviews 领域和四种候选集规模，并与推荐专用模型及点式和列表式 LLM 重排序器进行比较。
• 为决策而特化并不必然保证更优的推荐质量或鲁棒性；其实际价值取决于具体实现的特性和应用需求。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

大型语言模型（LLM）在推荐重排序方面已展现出潜力，但其使用在推荐质量与推理效率之间引入了重要的权衡。我们研究了当重排序任务本质上是对预定义候选物品的结构化选择时，面向决策的系统是否能提供一种有用的替代方案。具体而言，我们对两种面向决策的系统——TypeSafe Jev 和 OpenAI Decisions——在推荐重排序任务上进行了受控的实证研究。在三个 Amazon Reviews 领域和四种候选集规模上，我们将这些系统与推荐专用模型以及点式（pointwise）和列表式（listwise）LLM 重排序器进行比较，系统评估了推荐效果、候选顺序鲁棒性以及效率与可扩展性。我们的结果表明，Jev 经常能实现良好的质量—延迟权衡，在明显低于更强的 LLM 替代方案的观测延迟下，提供有竞争力的推荐效果。总体而言，我们的发现表明，为决策而进行的特化并不必然保证更优的推荐质量或鲁棒性；面向决策推理的实际价值取决于具体实现的特性和应用需求。这些发现推动了对面向决策系统在推荐及其他具有结构化输出空间的排序任务中的进一步研究。