HALO：面向主动性智能体的人类基准细粒度评估

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 在 HALO-8K 上，最佳专有与开源模型的可接受率分别为 72.88% 和 56.63%。
• 过度主动是主要失败模式：时机过早或强度过度占被拒回复的 61.20%。
• HALO-Arena 涵盖 4 种主动需求类型、10 个日常领域、50 个个人环境；HALO-8K 包含由 20 位专家标注的 8,000 条回复。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

主动性智能体必须在没有明确请求的情况下决定是否、何时以及以何种程度提供帮助。现有评估通常依赖自动化评分或二元判定，对证据使用和干预质量的人类诊断有限。为弥补这些不足，我们提出 HALO（Human-Grounded GrAnular EvaLuation of PrOactive Agents，面向人类基准的主动性智能体细粒度评估）。HALO-Arena 涵盖 4 种主动需求类型（依赖、阻塞、风险与机会），横跨 10 个日常领域和 50 个个人环境。场景要求智能体先从结构化数据库或非结构化文档中检索证据，再判断是否应提供帮助并选择帮助的范围。在 HALO-Arena 上，我们构建了 HALO-8K 数据集，包含来自 10 个模型在 400 个场景中的 8,000 条回复，由 20 位专家就行动层级、可接受性判定和人类诊断进行标注。对于被拒绝的回复，人类诊断涵盖时机、强度及其他问题。记录的推理 token 数和检索轮数衡量这些响应背后的投入。表现最好的专有模型和开源模型分别达到 72.88% 和 56.63% 的可接受率。我们的核心发现是：过度主动是主要的失败模式，其中时机过早或强度过度占被拒绝回复的 61.20%。进一步分析在干预与克制的平衡、证据获取以及时机与强度校准方面得出互补性发现。