论文 / arXiv:2610.18610
Jev-ToM：评估类型化决策模型中的心智理论
Jev-ToM: Evaluating Theory of Mind in Typed Decision Models
Kawai Chung, Chunkit Chan, Yuxuan Liu, Yauwai Yim, Xi Yang, Wenbin Hu, Huihao Jing, Chiu Yeung Tang +4·2026-10-13·cs.CL cs.AI相关度 47
Code and evaluation materials: https://github.com/HKUST-KnowComp/Jev-ToM
⚡ 一句话总结 AI 生成 · 以原文为准
在九个ToM基准的11,117个问题上，TypeSafe Jev达73.2%源平衡准确率，六类能力均列前二。
关键结论
- TypeSafe Jev 达到 73.2% 的源平衡准确率（含原生控制组），在全部六类能力中排名第一或第二。
- Jev 在九个 ToM 基准的 11,117 个英文问题上与五个类型化决策模型和七个生成式基线进行了比较。
- 基于置信度的选择仍依赖具体基准，相关问题线索解释了 Jev 下游收益的大部分来源。
📄 摘要AI 生成 · 以原文为准
对话与协作助手需要反复判断对话方知道、相信或意图什么。类型化决策模型为有界的心智理论（ToM）选择提供了一种可替代生成式大语言模型的方案。我们提出 Jev-ToM，在来自九个 ToM 基准、覆盖六类能力的 11,117 个英文文本问题上，比较了五个类型化决策模型和七个生成式基线。TypeSafe Jev 达到 73.2% 的源平衡准确率（含原生控制组），并在全部六类能力中均排名第一或第二，在信念、目标/愿望/意图和情绪方面领先。其他类型化模型在不同任务上表现出各自的优势。独立的资源对比表明，Jev 可以降低反复 ToM 选择的成本和等待时间。基于置信度的选择仍依赖于具体基准，而所提供的理由依据其附加方式既可以修复错误，也可能推翻原本正确的答案。候选扩展揭示了不同的选择问题和输出有效性问题。相关问题线索解释了 Jev 下游收益的大部分来源，预测状态则产生依赖任务的效果。这些发现促使我们测试将 Jev 作为助手中的 ToM 选择组件，并将任务特定的置信度校准、候选设计和输出验证作为集成优先事项。
💬 讨论 0
发帖 →还没有讨论，来发起第一个吧。
每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。