决策模型与System One模型在风湿病学中的表现：专科培训考试题与诊断病例摘要上的准确性与校准
Decision and System One models in rheumatology: accuracy and calibration on specialty-training examination questions and diagnostic case vignettes
28 pages, 2 figures, 2 tables; includes supplementary material (8 tables, 1 figure)
⚡ 一句话总结 AI 生成 · 以原文为准
关键结论
- 在RheumaMIR考试题上，Jev准确性为93.0%（西班牙语）和91.9%（英语），低于GPT-6 Sol（99.4%，Holm校正P<=0.005）；Jev概率>=0.90的答案（占76-77%）正确率为98.5%。
- 在RheumBench诊断病例上准确性下降：GPT-6 Sol 76.9%，GPT-6 Luna 63.5%，Clef 59.6%，Jev 50.0%，Microsoft-Decision-1 40.4%（所有System One模型均低于GPT-6 Sol，Holm校正P<=0.045；随机水平9.6%）。
- 在病例上Jev过度自信（平均概率0.659；指数+0.159），其概率>=0.90的答案（占病例25%）仅84.6%正确，而GPT-6 Luna为95.5%（42%）。
📄 摘要AI 生成 · 以原文为准
目的：评估决策模型与System One模型在风湿病学考试题和诊断病例摘要上的准确性与校准。方法：分析了两个基准：来自西班牙专科培训考试（扩展RheumaMIR数据集）的172道风湿病学试题（西班牙语和英语），以及RheumBench的70个英语诊断病例摘要（含5-18个候选诊断，其中52个包含参考诊断）。比较了四个System One模型（Jev 1.13、Clef、Microsoft-Decision-1、Laya）和GPT-6 Luna（OpenAI Decisions API）与GPT-6 Sol及两个本地生成式模型。主要结局为准确性；次要结局包括校准、区分度、概率>=0.90答案的准确性以及语言差异。结果：在RheumaMIR中，Jev的准确性在西班牙语为93.0%，英语为91.9%，低于GPT-6 Sol（99.4%；Holm校正P<=0.005）；GPT-6 Luna达到97.7%，Clef为91.9-93.0%，Microsoft-Decision-1为86.0-87.8%，未检测到语言差异。Jev概率>=0.90的答案（占答案的76-77%）正确率为98.5%。在RheumBench中，准确性较低：GPT-6 Sol为76.9%，GPT-6 Luna为63.5%，Clef为59.6%，Jev为50.0%，Microsoft-Decision-1为40.4%（每个System One模型均低于GPT-6 Sol，Holm校正P<=0.045；随机水平为9.6%）。Jev变得过度自信（平均概率0.659；过度/不足自信指数+0.159），其概率>=0.90的答案（占病例的25%）正确率为84.6%，而GPT-6 Luna为95.5%（42%）。Laya在两个基准上的表现均接近随机水平。结论：表现最佳的System One模型在考试题上准确性很高，但在诊断病例摘要上准确性较低，仍低于GPT-6 Sol。Jev的高置信度预测在病例摘要上可靠性较低，凸显了针对具体任务进行评估和校准的必要性。
💬 讨论 0
发帖 →每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。