JEV 与 LLM 对比：七项政治学复制研究中的准确性、成本与校准
JEV versus LLMs: Accuracy, Cost and Calibration on Seven Political Science Replications
71 pages, 2 figures, 14 tables (including appendices). v2: corrected author order in metadata
⚡ 一句话总结 AI 生成 · 以原文为准
关键结论
- 在多种社会科学文本任务中，JEV 与 GPT-6 Luna 和 Qwen3.8-27B 的能力相当或接近。
- 按 OpenAI 批量价格计算，JEV 相较 GPT-6 Luna 没有成本优势。
- 每个问题仅提问一次时，JEV 的概率比 GPT-6 Luna 的词元概率校准更好，但不一定始终优于 Qwen3.8-27B。
📄 摘要AI 生成 · 以原文为准
大语言模型（LLM）通过生成文本词元来标注和测量政治文本或构念。一类新模型——TypeSafe 以“System One”模型为名进行营销——则直接在用户提供的固定答案集上返回决策和概率分布。商业模型 JEV 被宣传为相较传统 LLM 具有显著的成本和速度优势，且决策校准更佳。因此，对于希望快速且低成本地标注或测量大规模文本语料、并需要分类器不确定性可靠指标的社会科学家而言，它可能很有用。然而，这些说法的准确性以及该模型在社会科学文本任务中的整体准确性尚未得到验证。本文正是要做这件事，并希望确立 JEV 在社会科学任务中的适用性。我们将 JEV 与已发表研究中的 LLM 和人工编码员进行比较，并与当前的中端商业 LLM（GPT-6 Luna）和一个开放权重替代方案（Qwen3.8-27B）进行对比。我们发现，在多种任务中，JEV 与这两种 LLM 的能力相当或接近。然而，我们发现按 OpenAI 的批量价格计算，JEV 相对 GPT-6 Luna 并无成本优势。此外，我们发现当每个问题只提问一次时，JEV 的概率比 GPT-6 Luna 的词元概率校准更好，但不一定始终优于 Qwen3.8-27B。我们得出结论：除非研究者有速度需求，否则 JEV 唯一明显的优势是便于解析底层的选项概率。
💬 讨论 0
发帖 →每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。