System X：一种从自身 KV 缓存直接回复的 LLM 决策模型

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• JevBench 准确率无显著变化（55.4% 至 54.5%，p=0.87），期望校准误差从 0.292 降至 0.169。
• 在 Apple M4 Pro 上缓存复用节省 15-37% 延迟；System X v4 的 JevBench 准确率从 55.0% 升至 61.0%（p=0.04）。
• System X+ 改善支持任务结果，但 IFEval 准确率从 55.5% 降至 45.0%。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

决策模型对给定选项返回概率，但已部署的智能体也可能需要用文字回复。本研究提出 System X，一种大语言模型（LLM）决策模型，它在 LLM-as-Jev 读出方式中增加了文本回复选项。当该选项胜出或置信度较低时，同一模型从决策的键值（KV）缓存继续生成，避免重复的提示词预填充。模型基于 Qwen3-0.6B，使用 LoRA 在 Reason-9k 和 Bitext 回复数据行上进行了微调。JevBench 准确率无统计学显著变化（55.4% 降至 54.5%，p=0.87），而期望校准误差从 0.292 降至 0.169。留出的 Bitext 路由准确率达到 98.3%。在 Apple M4 Pro 上，缓存复用节省了 15-37% 的延迟，FP32 演示案例中的回复逐 token 一致。在提示缓存的副本上对选项评分，其概率与完整序列评分的偏差在 1.4e-6 以内。加入对话、行业和投诉数据（System X+）改善了支持任务的结果，但使 IFEval 准确率从 55.5% 降至 45.0%。System X v4 使用 Qwen3-1.7B、重新平衡的数据以及教师改写的回复目标。相较于其基础 LLM，JevBench 准确率从 55.0% 升至 61.0%（p=0.04），IFEval 无统计学显著变化（p=0.71）。在未适配的 Qwen3-1.7B 上的匹配延迟测试节省 17-39%。一个 LLM 评审更偏好 v4 的回复而非未适配 1.7B 的第二次调用（31 对 11，p=0.003）；另一个评审的偏好不显著。这些回复比较在提示词和生成限制上也存在差异。状态冲突和不受支持的回复细节仍是失败模式。建议进一步开展多随机种子、人类评分者和真实支持数据的研究。