SkillEval：通过认知诊断模型学习 LLM 的可解释能力画像
SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
24 pages, 9 figures, 11 tables. Code: https://github.com/berkearda/skilleval
⚡ 一句话总结 AI 生成 · 以原文为准
关键结论
- 实验涵盖 3,811 个 LLM，在五个基准（MATH、BBH、GPQA、MuSR、IFEval）上共 9,523 道题目。
- SkillEval 画像比基于平均分的评估校准更好，能更准确预测模型在未见题目上的行为。
- 基于技能画像的 LLM 路由将推理成本降低超过 60%，同时性能更优。
📄 摘要AI 生成 · 以原文为准
目前对 LLM 在基准测试上的评估通常将各题目的表现汇总为单一标量分数。这种方式过于粗糙，忽略了基准数据集所涵盖的多样化技能范围。为解决这一局限并更好地利用基准数据，我们提出 SkillEval——一个新的评估框架，可进行跨模型、技能层面的分析。该框架融合了两个领域的进展：(1) 利用 LLM 的元认知能力自动从题目中发现可解释的技能；(2) 应用心理测量学中的认知诊断模型（CDM）来估计 LLM 的各项技能能力。我们在五个覆盖不同领域的基准（MATH、BBH、GPQA、MuSR、IFEval）上，对 3,811 个 LLM 在 9,523 道题目上的表现进行了实验。与传统的基于平均分的评估范式相比，SkillEval 生成可靠、校准更好、信息丰富且简洁的模型画像，能更准确地预测模型在未见题目上的行为。我们还展示了 SkillEval 在两个下游任务中的实用性：(1) LLM 路由，动态地将每个查询分配给能力强且高效的模型，在取得更好性能的同时将推理成本降低超过 60%；(2) 计算机化自适应测试（CAT），可利用训练好的 CDM 高效评估一个未见过的模型。此外，我们表明这些技能画像能提供有价值的洞察，例如不同基准之间如何共享技能，以及指令微调模型与其基础模型之间的差异。
💬 讨论 0
发帖 →每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。