论文 / arXiv:2610.38448
基准与评测决策模型
在医学多项选择题上对决策模型与生成式大语言模型的基准评测
Benchmarking decision models against generative large language models on medical multiple-choice questions
Oscar Freyer, Daniel Glauert, Moritz Hofmann, Max Ostermann, Stephen Gilbert, Jakob Nikolas Kather·2026-10-28·cs.CL cs.AI相关度 5
⚡ 一句话总结 AI 生成 · 以原文为准
决策模型比生成式配置更省资源但峰值准确率较低（89.08%对96.86%），且高概率答案仍存在错误。
关键结论
- 决策模型准确率为67.71%至89.08%，生成式配置为78.32%至96.86%。
- Mercury Decide平均最终尝试成本最低（每1,000道题0.0069美元）；Clef Omni中位请求时长最短（0.291秒）。
- 概率至少0.90的答案错误率为1.71%至12.77%；三次运行的答案一致率为92.30%至100%。
📄 摘要AI 生成 · 以原文为准
医学工作流程常常需要在预定义选项中进行选择。我们在纯文本条件下，使用1,273道四选项MedQA题目，比较了13个决策模型与15种生成式大语言模型配置（包括不同的推理设置）。决策模型的准确率介于67.71%至89.08%之间，生成式配置的准确率介于78.32%至96.86%之间。在测试的配置中，Mercury Decide的平均最终尝试成本最低（每1,000道题0.0069美元），而Clef Omni的中位请求时长最短（0.291秒）。决策模型的概率能够区分正确与错误的答案，但被赋予至少0.90概率的答案中，错误率介于1.71%至12.77%之间。三次运行之间的答案一致率介于92.30%至100%之间，而概率的可重复性则有所差异。决策模型在资源方面具有优势，但峰值准确率较低；为医学工作流程选择模型时，需要综合考虑概率质量与可重复性，以及准确性和检测、纠正错误所需的资源。
💬 讨论 0
发帖 →还没有讨论，来发起第一个吧。
每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。